kylin linux - CSDN
  • Linux之安装kylin

    千次阅读 2017-05-24 18:34:55
    介绍kylin安装方法

    前置条件是已安装部署以下组件:

    1.Hadoop

    2.HBase

    3.Hive


    安装kylin的步骤如下:

    1.下载安装包

    2.解压缩到指定路径

    3.设置环境变量:$KYLIN_HOME=<具体路径>;  $HCAT_HOME=$HIVE_HOME/hcatalog

    4.命令启动  ${KYLIN_HOME} /bin/kylin.sh start


    检验:

    浏览器地址:http://<localhost>:7070/kylin

    用户名:ADMIN

    密码:kylin


    展开全文
  • Kylin安装和使用

    千次阅读 2018-09-11 17:22:06
    概述:Apache Kylin™是一个开源的分布式分析引擎,提供Hadoop/Spark之上的SQL查询接口及多维分析(OLAP)能力以支持超大规模数据,最初由eBay Inc. 开发并贡献至开源社区。它能在亚秒内查询巨大的Hive表。 Kylin...


    概述:Apache Kylin™是一个开源的分布式分析引擎,提供Hadoop/Spark之上的SQL查询接口及多维分析(OLAP)能力以支持超大规模数据,最初由eBay Inc. 开发并贡献至开源社区。它能在亚秒内查询巨大的Hive表。


    Kylin是什么?
    1.可扩展超快OLAP引擎: 
    Kylin是为减少在Hadoop/Spark上百亿规模数据查询延迟而设计
    2.Hadoop ANSI SQL 接口: 
    Kylin为Hadoop提供标准SQL支持大部分查询功能
    3.交互式查询能力: 
    通过Kylin,用户可以与Hadoop数据进行亚秒级交互,在同样的数据集上提供比Hive更好的性能
    4.多维立方体(MOLAP Cube): 
    用户能够在Kylin里为百亿以上数据集定义数据模型并构建立方体
    5.与BI工具无缝整合:
    Kylin提供与BI工具的整合能力,如Tableau,PowerBI/Excel,MSTR,QlikSense,Hue和SuperSet

    KyLin的核心思想是什么? 
    KyLin的核心思想是以空间换时间。核心技术是预计算。 

    权限控制
    类似于apache sentry 对每张表进行分组,对每个申请的账号分配到具体组

    其他特性: 
    Job管理与监控
    压缩与编码
    增量更新
    利用HBase Coprocessor
    基于HyperLogLog的Dinstinc Count近似算法
    友好的web界面以管理,监控和使用立方体
    项目及表级别的访问控制安全
    支持LDAP、SSO


    Kylin数据源:jdbc数据源,hive,kafka等

    Kylin 核心:
    Kylin OLAP引擎基础框架,包括元数据(Metadata)引擎,查询引擎,Job引擎及存储引擎等,同时包括REST服务器以响应客户端请求
    扩展:
    支持额外功能和特性的插件
    整合:
    与调度系统,ETL,监控等生命周期管理系统的整合
    用户界面:
    在Kylin核心之上扩展的第三方用户界面
    驱动:
    ODBC 和 JDBC 驱动以支持不同的工具和产品,比如Tableau


    ################安装###############
    官网最新版本环境要求
    Hadoop: 2.7+
    Hive: 0.13 - 1.2.1+
    HBase: 1.1+
    Spark 2.1.1+
    JDK: 1.7+
    OS: Linux only, CentOS 6.5+ or Ubuntu 16.0.4+
    运行Kylin的服务器的最低的配置为4 core CPU, 16GB memory和100GB disk。对于高负载的场景,建议使用24 core CPU, 64GB memory 或更高的配置。

    1.下载安装包解压
    cd /home/kylin
    wget http://www-us.apache.org/dist/kylin/apache-kylin-2.3.1/apache-kylin-2.3.1-hbase1x-bin.tar.gz
    tar -zxvf apache-kylin-2.3.1-hbase1x-bin.tar.gz
    cd apache-kylin-2.3.1-bin
    2.配置环境变量,修改配置文件
    export KYLIN_HOME=`pwd`

    ##
    vim conf/kylin.properties
    添加或更改如下
    kylin.server.cluster-servers=192.168.13.55:7070
    kylin.job.jar=$KYLIN_HOME/lib/kylin-job-2.3.2.jar
    kylin.coprocessor.local.jar=$KYLIN_HOME/lib/kylin-coprocessor-2.3.2.jar

    3.使用脚本检查环境,确认hadoop,hive,hbases shell等权限
    $KYLIN_HOME/bin/check-env.sh
    4.运行 $KYLIN_HOME/bin/kylin.sh start 脚本来启动 Kylin,服务器启动后,您可以通过查看 $KYLIN_HOME/logs/kylin.log 获得运行时日志。
    5.查看web界面
    开启 $KYLIN_HOME/bin/kylin.sh start
    关闭 $KYLIN_HOME/bin/kylin.sh stop
    http://hostname:7070/kylin(修改默认端口需要修改kylin自带的tomcat端口,conf/server.xml)
    ADMIN/KYLIN


    ###集群模式
    Kylin 实例是无状态的。其运行时状态存于存储在 HBase (由 conf/kylin.properties 中的 kylin.metadata.url 指定) 中的 metadata 中。出于负载均衡的考虑,建议运行多个共享一个 metadata 存储的 Kylin 实例,因此他们在表结构中共享同一个状态,job 状态, Cube 状态, 等等。
    每一个 Kylin 实例在 conf/kylin.properties 中都有一个 “kylin.server.mode” entry,指定了运行时的模式,有 3 个选项:
    job : 在实例中运行 job engine; Kylin job engine 管理集群 的 jobs;
    query : 只运行 query engine; Kylin query engine 接收和回应你的 SQL 查询;
    all : 在实例中既运行 job engine 也运行 query engines。
    注意只有一个实例可以运行 job engine (“all” 或 “job” 模式), 其他必须是 “query” 模式。

    配置多个 Kylin 服务器

    当在拥有多个 Kylin 服务器实例的集群运行 Kylin 时, 请确保您为每一个实例在 conf/kylin.properties 中正确的配置了以下属性。
    kylin.rest.servers
    使用中的服务器列表, 当事件变化时,让一个实例去通知其他服务器。例如:
    kylin.rest.servers=host1:7070,host2:7070
    kylin.server.mode
    确保只有一个实例的 kylin.server.mode 设置为 “all” 或 “job”, 其余的应该为 “query”
    kylin.server.mode=all

     


    ##########对于Kylin的部署架构,一般都四种典型部署方式,从简单到复杂。
     
    1. 第一种方式:
     
    单实例部署方式(Single instance)。在Hadoop集群的一个节点上部署,然后启动即可。建模人员通过Kylin Web登录,进行建模和创建Cube。业务分析系统等发送SQL到Kylin,Kylin查询Cube并返回结果。
     
    这种部署最大特点是简单快捷,而是单点,如果并发请求比较多(QPS > 50),单台Kylin节点将成为瓶颈,所以推荐使用集群(Cluster)部署方式。
     
    2. 第二种方式:
     
    Kylin部署集群方式相对来说也简单,只需要增加Kylin的节点数,因为Kylin的元数据(Metadata)是存储在HBase中,只需要在Kylin中配置,让Kylin的每个节点都能访问同一个Metadata表就形成了Kylin集群(kylin.metadata.url 值相同)。并且Kylin集群中只有一个Kylin实例运行任务引擎(kylin.server.mode=all),其它Kylin实例都是查询引擎(kylin.server.mode=query)模式。通常可以使用LDAP来管理用户权限。
     
    为了实现负载均衡,即将不同用户的访问请求通过Load Balancer(负载均衡器)(比如lvs,nginx等)分发到每个Kylin节点,保证Kylin集群负载均衡。对于负载均衡器可以启用SSL加密,安装防火墙,对外部用户只用暴露负载均衡器的地址和端口号,这样也保证Kylin系统对外部来说是隔离的。
     
    我们的生产环境中使用的LB是nginx,用户通过LB的地址访问Kylin时,LB将请求通过负载均衡调度算法分发到Kylin集群的某一个节点,不会出现单点问题,同时如果某一个Kylin节点挂掉了,也不会影响用户的分析。
     
    这种方式也不是完美的,但是一般场景下是可以满足的。
     
    3. 第三种方式:
     
    Kylin非常适合读写分离,原因是Kylin的工作负载有两种:
     
    Cube的计算,调用MapReduce进行批量计算,而且延时很长的计算,需要密集的CPU和IO资源
    在线的实时查询计算,就是Cube计算结束后进行查询,而且都是只读的操作,要求响应快,延迟低。
     
    通过分析,我们发现第一种Cube的计算会对集群带来很大负载,从而会影响在线的实时查询计算,所以需要做读写分离。如果你的环境,基本都是利用夜间执行Cube计算,白天上班时间进行查询分析,那么可以考虑采用第二种部署方式。
     
    其实Kylin也很容易部署这种组网方式。你需要单独部署一套HBase集群,在部署Kylin时,Hadoop配置项指向运算的集群,HBase的配置项指向单独部署的HBase集群。说白了,就是Hadoop和HBase集群的分离。
     
    这种部署方式通常有以下步骤:
     
    步骤一:分布部署Hadoop(MapReduce计算集群,以下简称计算)集群和HBase(HDFS存储,以下简称存储)集群;两套集群环境的Hadoop核心版本要一致,分别有各自的HDFS、Zookeeper等组件;
     
    步骤二:在准备运行Kylin的服务器上,安装和配置Hadoop(计算)集群的客户端;通过 hadoop , hdfs , hive , mapred 等命令,可以访问Hadoop集群上的服务和资源;
     
    步骤三:在准备运行Kylin的服务器上,安装和配置HBase(存储)集群的HBase客户端;通过 hbase 命令,可以访问和操作HBase集群;
     
    步骤四:确保Hadoop(计算)集群和HBase(存储)集群的网络互通,且无需额外验证;可以从Hadoop(计算)集群的任一节点上,拷贝文件到HBase(存储)集群的任一节点;
     
    步骤五:确保在准备运行Kylin的服务器上,通过hdfs命令行加上HBase集群NameNode地址的方式(比如hdfs dfs -ls hdfs://pro-jsz800000:8020/),可以访问和操作存储集群的HDFS。
     
    步骤六:为了提升Kylin查询响应效率,准备运行Kylin的服务器,在网络上应靠近HBase集群,以确保密集查询时的网络低延迟;
     
    步骤七:编辑conf/kylin.properties,设置 kylin.hbase.cluster.fs 为HBase集群HDFS的url,例如:kylin.hbase.cluster.fs=hdfs://pro-jsz800000:8020
     
    步骤八:重启Kylin服务实例
     
    4. 第四种方式:
     
    前面三种方式,应该是绝大多数公司或个人研究采用的部署方式,其实还有一种更高级的部署是Staging和production多环境的部署。其实做开发的一般都会经历这样的环境,我们一个需求完成后,首先会进行开发环境测试,然后部署到Staging(可以理解为Production生产环境的镜像,或者测试环境),最后没有问题后才会发布到Production生产环境,这样做可以避免不当的设计导致对生产环境的破坏。
     
    使用这种方案的场景:
     
    假如一个新用户使用Kylin,可能他对Cube设计不是很熟悉,创建了一个非常不好的Cube,导致Cube计算时产生大量的不必要的运算,或者查询花费的时间很长,会对其他业务造成影响。我们不希望这个有问题的Cube能进入生产环境,那么就需要建立一个Staging环境,或则成为QA的环境。
     
    Kylin提供了一个工具,几分钟就可以将一个Cube从Staging环境迁移到Production环境,不需要在新环境中重新build。因为在生产环境的Cube,将不允许修改,只能做增量的build。这样做保证了Staging和Production的分离,保证发布到Production上的Cube都是经过评审过的,所以对Production环境不会造成不可预料的影响,从而保证了Production环境的稳定。

     


    #########支持邮件通知
    Kylin 可以在 job 完成/失败的时候发送邮件通知;编辑 conf/kylin.properties,设置如下参数使其生效:
    mail.enabled=true
    mail.host=your-smtp-server
    mail.username=your-smtp-account
    mail.password=your-smtp-pwd
    mail.sender=your-sender-address
    kylin.job.admin.dls=adminstrator-address
    重启 Kylin 服务器使其生效。设置 mail.enabled 为 false 令其失效。
    所有的 jobs 管理员都会收到通知。建模者和分析师需要将邮箱填写在 cube 创建的第一页的 “Notification List” 中,然后即可收到关于该 cube 的通知。

     

    添加jdbc数据源(2.3x以后才能配置,并且在2.4x后才能兼容不同种数据源)
    #kylin.source.default=8
    #kylin.source.jdbc.connection-url=jdbc:mysql://192.168.13.55:3306/finedb
    #kylin.source.jdbc.driver=com.mysql.jdbc.Driver
    #kylin.source.jdbc.dialect=mysql
    #kylin.source.jdbc.user=root
    #kylin.source.jdbc.pass=Hb_123456
    #kylin.source.jdbc.sqoop-home=/opt/cloudera/parcels/CDH-5.11.1-1.cdh5.11.1.p0.4/lib/sqoop/bin
    #kylin.source.jdbc.filed-delimiter=|


    测试机示例:select account_country,sum(account_buyer_level) as buyer,count(account_seller_level) as a from kylin_account group by account_country

     

    展开全文
  • Kylin Linux Advanced Server release V10/(Azalea)-aarch64自带的gcc是4.8.5版本。 可以通过yum直接进行升级。 麒麟默认的源中有6.3.1、7.3.1和9.1.1三个版本的gcc软件包 devtoolset-6-gcc* devtoolset-7-gcc* ...

    Kylin Linux Advanced Server release V10/(Azalea)-aarch64自带的gcc是4.8.5版本。
    可以通过yum直接进行升级。

    麒麟默认的源中有6.3.1、7.3.1和9.1.1三个版本的gcc软件包
    devtoolset-6-gcc*
    devtoolset-7-gcc*
    devtoolset-9-gcc*

    yum install devtoolset-7-gcc*
    安装完成后,可通过输入命令切换为新版本(两条命令均可)
    source /opt/rh/devtoolset-7/enable
    source scl_source enable devtoolset-7
    修改bashrc文件,永久生效
    vim ~/.bashrc
    查看gcc版本
    #gcc -v
    Using built-in specs.
    COLLECT_GCC=gcc
    COLLECT_LTO_WRAPPER=/opt/rh/devtoolset-7/root/usr/libexec/gcc/aarch64-neokylin-linux/7/lto-wrapper
    Target: aarch64-neokylin-linux
    Configured with: …/configure --enable-bootstrap --enable-languages=c,c++,fortran,lto --prefix=/opt/rh/devtoolset-7/root/usr --mandir=/opt/rh/devtoolset-7/root/usr/share/man --infodir=/opt/rh/devtoolset-7/root/usr/share/info --with-bugurl=http://bugzilla.cs2c.com.cn/bugzilla --enable-shared --enable-threads=posix --enable-checking=release --enable-multilib --with-system-zlib --enable-__cxa_atexit --disable-libunwind-exceptions --enable-gnu-unique-object --enable-linker-build-id --with-gcc-major-version-only --enable-plugin --with-linker-hash-style=gnu --enable-initfini-array --with-default-libstdcxx-abi=gcc4-compatible --with-isl=/builddir/build/BUILD/gcc-7.3.1-20180303/obj-aarch64-neokylin-linux/isl-install --disable-libmpx --enable-gnu-indirect-function --build=aarch64-neokylin-linux
    Thread model: posix
    gcc version 7.3.1 20180303 (NeoKylin 7.3.1-5) (GCC)

    可以删除自带的gcc
    yum remove gcc*

    展开全文
  • 现有的所谓的国产操作系统我了解的除了基于安卓的凤凰系统就是基于Linux的像优麒麟和deepin这样的系统。一.ubuntu kylin优麒麟系统:优点:1.基于ubuntu18.04lts,软件源比较多,论坛比较活跃,使用时问题的解答比较...

    研发中国的操作系统的需求在我看来是安全,还有就是自主。如果做的好还可以在创新上,使用体验上进行一波超越。现有的所谓的国产操作系统我了解的除了基于安卓的凤凰系统就是基于Linux的像优麒麟和deepin这样的系统。

    一.ubuntu kylin优麒麟系统:

    优点:

    1.基于ubuntu18.04lts,软件源比较多,论坛比较活跃,使用时问题的解答比较多。

    2.带搜狗输入法,wps

    缺点:

    1.界面感觉介于win xp和win 7界面效果之间。

    2.wps需要配置字体

    3.和deepin共有问题,双系统时win10时间晚8小时。

    4.新安个应用会重叠应用图标

    5.主菜单界面和终端界面字体太小不能在设置中调大

    6.安装应用麻烦,像qq我按官方教程安了几遍都失败了,steam也是一样,在解决显卡驱动的安装后steam倒是安成功了。

    7. 想到时补充

    二.deepin深度系统

    优点:

    1.安装过程简单一点,分区时有简单模式和高级模式

    2.界面好看。

    3.有50多款打包wine的windows应用,qq等,还有安卓模拟器,应用数量还是比较多的。

    4.深度终端设置比较丰富,图标类型大小设置丰富

    缺点:

    1.对硬盘的读写速度的利用不高,像win10,用固态后打开系统的文件还有设置都响应迅速

    2.对大内存的利用效率不高,像windows,内存大小在一定范围内,你内存越大,系统初始内存占用就越高,内存大后运行速度也会有所改善。

    3.前两点总结后就是感觉不够流畅丝滑,不如win10

    4.像我qq最小化的时候有时托盘里就没了,也不能重新打开,在任务管理器里qq仍在占用资源。我注销重新登陆再打开就可以用了。

    建议:

    1.针对主要人群适配或开发专业应用,满足专用用途

    2.完善日常应用,像linux没有的,就用wine兼容优化,不求多,我觉得日常应用有一两百款优化良好的就可以了。

    3.汲取其他发行版优点,我觉得应有专人进行测试比较的工作。来提升自己

    4.稳定性和速度很重要

    5.定制性也很重要,deepin的安装过程安装内容应可选,有最小安装和普通安装模式等。

    6.加强社区建设,可以让活跃度高的用户志愿担任版主,像贴吧一样。

    7.加强线下活动,可以进行linux开源应用比赛和高校巡讲,像kylin一样

    http://www.q-wei.cn/
    http://news.q-wei.cn/
    http://www.yichaonet.cn/
    http://news.yichaonet.cn/
    http://www.vxjezfv.cn/
    http://news.vxjezfv.cn/
    http://www.xibiyo.com.cn/
    http://news.xibiyo.com.cn/
    http://www.9208361.org.cn/
    http://news.9208361.org.cn/
    http://www.9111316.cn/
    http://news.9111316.cn/
    http://www.bluelf.com.cn/
    http://news.bluelf.com.cn/
    http://www.qqq136com.cn/
    http://news.qqq136com.cn/
    http://www.2819w.cn/
    http://news.2819w.cn/
    http://www.9019758.org.cn/
    http://news.9019758.org.cn/
    http://www.wydaogou.cn/
    http://news.wydaogou.cn/
    http://www.ralhys.cn/
    http://news.ralhys.cn/

    展开全文
  • kylin linux麒麟Linux进入单用户模式

    千次阅读 2016-01-13 15:59:43
    kylin linux麒麟Linux操作系统输入1,sing无法进入单用户模式的情况下采用以下方法: 1、系统重启,按e进入grub编辑模式; 2、将光标移动到kernel那一行,再按一次e编辑; 在最末位处添加1(root=LABEL /...
  • Kylin按理说就是Ubuntu的修改版,但实际操作时还是有些问题 1、SSH 安装SSHServer基本上没有问题, apt-get install ssh就可以了,而且装完服务就启动了 客户端连接,我用的是deepin,试了apt-get install ...
  • 同一时候,央视也报道了眼下包含优麒麟在内的国产Linux操作系统,......  该新闻报道中所提及的这款“优麒麟”是什么国产操作系统呢?经过网络搜索证实,所谓“优麒麟”操作系统就是UbuntuKylin发行版。可是,U...
  • Linux Ubuntu kylin16.04安装JDK配置环境变量 下载jdk 1.下载地址: http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html 2.移动 mv jdk-8u161-linux-x64.tar.gz /usr/...
  • 1. 找到linux16 这行删除到ro 修改 ro为rw 添加 rd.break 2. ctrl +x 进入  3. 输入chroot /sysroot/ 4. 输入passwd 5. touch /.autorelable(不建立文件图形界面无法启动) 6. 两次exit退出 以上是直接更改 ...
  • 确认是否安装过ntp 执行rpm –qa | grep ntp [root@localhost ~]# rpm -qa|grep ntp ntpdate-4.2.6p5-25.ky3.kb2.x86_64 fontpackages-filesystem-1.44-8.ky3.kb2.noarch ntp-4.2.6p5-25.ky3.kb2.x86_64 //证明本...
  • Ubuntu Kylin linux下安装Vivado

    千次阅读 2015-07-13 02:56:25
    下载的文件是Xilinx_Vivado_SDK_2015.1_0428_1_Lin64.bin 运行下面的命令开始安装 sudo chmod +x xx.bin sudo ./xx.bin 如果安装后无法启动SDK 在TCL console中提示错误 ERROR: [Common 17-70] Application ...
  • Linux系统(Ubuntu Kylin)修改权限,超级管理员 1.Alt+F2 打开终端 2.gnome-terminal 回车 3.sudo nautilus 输入用户的密码,打开超级用户权限
  • 刚参加完达梦组织的数据库培训,相较于其他培训给资料看题库学完作个paper,达梦更强调实操,实践性强很多。 新手第一次接触DM数据库,记录下安装全过程。 1、环境说明 使用vmware虚拟机环境我分配了内存2GB,硬盘20...
  • Kylin 环境 搭建 成功

    千次阅读 2016-08-14 12:42:11
    Hive 1.2.1 ...Kylin 1.5.1 Hadoop 2.5.1 http://bigdatacloud:7070/kylin/admin Server Config kylin.hbase.region.cut.large=50 deploy.env=QA acl.adminRole=ROLE_ADMIN kylin.r
  • 常用的Linux发行版

    千次阅读 2016-12-11 01:25:27
    Linux发行版百花齐放【内容摘要】  如今,众多的Linux发行版百花齐放,Linux的阵营日益壮大,每一款发行版都拥有一大批用户,开发者自愿为相关项目投入精力。Linux发行版可谓是形形色色,它们旨在满足每一种能想...
  • Linux系统gcc升级(以国产kylin系统为例)1、获取gcc4.8.5的源码包(文件存放于root根目录)1.1服务器联网情况下执行# wget http://ftp.gnu.org/gnu/gcc/gcc-4.8.5/gcc-4.8.5.tar.gz1.2断网情况下执行手动下载 gcc-...
  • ubuntukylin-16.04 安装nginx

    千次阅读 2016-05-08 18:44:14
    ubuntukylin-16.04 中安装nginx 1.安装nginx sudo apt-getinstall nginx nginx安装之后的文件结构大致为: 所有的配置文件都在/etc/nginx下,并且每个虚拟主机已经安排在了/etc/nginx/sites-available下 程序...
  • ubuntukylin编译运行环境搭建

    千次阅读 2019-05-14 16:17:49
    安装文件ubuntukylin-14.04.2-desktop-amd64.iso vmware-workstation-full-12.zip 一、避免简易安装:用vmware安装时很多时候会被简易安装,无法自己选择语言等问题 ①下载ubuntu镜像 ,下载vmware10版本以上(对于...
  • ubuntukylin和ubuntu有什么区别

    千次阅读 2015-01-31 19:17:16
    kylin是针对中国用户制定的ubuntu发行版本,里面包含了一些中国特色的软件(其实不是很多),针对中国人的使用习惯,对系统做了一些优化。但是区别不是很大。 在使用过程中,ubuntukylin和ubuntu不会有明显的性能和...
  • 这里写自定义目录标题欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题,有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、...
1 2 3 4 5 ... 20
收藏数 6,174
精华内容 2,469
热门标签
关键字:

kylin linux