2017-05-24 18:25:46 qyanjun 阅读数 910
  • 使用Apache Kylin搭建企业级开源大数据分析平台

    1024大数据技术峰会邀请到11位来自一线互联网企业的大数据核心研发团队骨干成员,针对选型开源技术搭建大数据平台、持续运维、优化提升大数据平台的各项性能,技术架构演进以及实现应用大数据支持业务创新发展,这几大核心展开深入的分享和交流。

    6484 人正在学习 去看看 互联网技术联盟

前置条件是已安装部署以下组件:

1.Hadoop

2.HBase

3.Hive


安装kylin的步骤如下:

1.下载安装包

2.解压缩到指定路径

3.设置环境变量:$KYLIN_HOME=<具体路径>;  $HCAT_HOME=$HIVE_HOME/hcatalog

4.命令启动  ${KYLIN_HOME} /bin/kylin.sh start


检验:

浏览器地址:http://<localhost>:7070/kylin

用户名:ADMIN

密码:kylin


2019-10-14 15:39:17 sxg0205 阅读数 19
  • 使用Apache Kylin搭建企业级开源大数据分析平台

    1024大数据技术峰会邀请到11位来自一线互联网企业的大数据核心研发团队骨干成员,针对选型开源技术搭建大数据平台、持续运维、优化提升大数据平台的各项性能,技术架构演进以及实现应用大数据支持业务创新发展,这几大核心展开深入的分享和交流。

    6484 人正在学习 去看看 互联网技术联盟

一、前置条件

    服务器已安装hadoop、hive、hbase且各服务已在/etc/profile中正确配置环境;

二、下载包并解压

    下载包地址:https://mirrors.tuna.tsinghua.edu.cn/apache/kylin/

    执行:http://archive.apache.org/dist/kylin/apache-kylin-2.4.0/apache-kylin-2.4.0-bin-hbase1x.tar.gz

    解压:tar -xzvf  apache-kylin-2.4.0-bin-hbase1x.tar.gz

三、配置

    1、/etc/profile中添加 KYLIN_HOME配置

        

    2、执行 source /etc/profile,使配置生效

四 启动

    进入 /kylin/apache-kylin-2.4.0-bin-hbase1x/bin 执行 kylin.sh start

五 启动检查

    浏览器地址:http://<localhost>:7070/kylin

    用户名:ADMIN

    密码:kylin

2019-08-25 11:04:23 yang735136055 阅读数 13
  • 使用Apache Kylin搭建企业级开源大数据分析平台

    1024大数据技术峰会邀请到11位来自一线互联网企业的大数据核心研发团队骨干成员,针对选型开源技术搭建大数据平台、持续运维、优化提升大数据平台的各项性能,技术架构演进以及实现应用大数据支持业务创新发展,这几大核心展开深入的分享和交流。

    6484 人正在学习 去看看 互联网技术联盟

安装Kylin

1、这几个需要都在/etc/profile里面有配置,并source使其生效

image-20190823195958270

2、启动hadoop、hive、hbase、zk 、hadoop的历史服务之后,然后启动kylin
bin/kylin.sh start
3、出现报错情况
Failed to find metadata store by url: kylin_metadata@hbase

这个错误原因是因为我们hbase配置出现一点问题

去hbase的conf目录下 找到 hbase-site.xml
把 master:2181,slave1:2181,slave2:2181 后的 2181 全部去掉,只留主机名称如下:
<property>
             <name>hbase.zookeeper.property.clientPort</name>
             <value>2181</value>
</property>

<property>
            <name>hbase.zookeeper.quorum</name>
             <value>master,slave1,slave2,slave3</value>
</property>

4、重新启动hbase

5、重新启动kylin即可

访问kylin的网址

访问主机: http://hostname:7070

使用用户名登陆:ADMIN

使用密码登陆:KYLIN

2018-03-28 15:23:05 wozyb1995 阅读数 182
  • 使用Apache Kylin搭建企业级开源大数据分析平台

    1024大数据技术峰会邀请到11位来自一线互联网企业的大数据核心研发团队骨干成员,针对选型开源技术搭建大数据平台、持续运维、优化提升大数据平台的各项性能,技术架构演进以及实现应用大数据支持业务创新发展,这几大核心展开深入的分享和交流。

    6484 人正在学习 去看看 互联网技术联盟

Linux Ubuntu kylin16.04安装JDK配置环境变量

下载jdk

1.下载地址:
http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html
2.移动
mv jdk-8u161-linux-x64.tar.gz /usr/local/java/
3.解压
tar -zxvf jdk-8u161-linux-x64.tar.gz

配置环境变量

1.加权打开配置文件
sudo vim /etc/profile
2.添加配置(copy根据各自的情况修改)

#set java environment
export JAVA_HOME=/usr/local/java/jdk1.8.0_161
export JRE_HOME=$JAVA_HOME/jre
export CLASSPATH=.:$JAVA_HOME/lib:$JAVA_HOME/jre/lib:$CLASSPATH
export PATH=$JAVA_HOME/bin:$JAVA_HOME/jre/bin:$PATH

可能遇到问题

问题1:
程序 ‘java’ 已包含在下列软件包中:
* default-jre
* gcj-4.9-jre-headless
* gcj-5-jre-headless
* openjdk-8-jre-headless
* gcj-4.8-jre-headless
* openjdk-9-jre-headless
请尝试:apt install <选定的软件包>
参考blog:
https://blog.csdn.net/jabony/article/details/39668627
实际命令:

sudo update-alternatives --install /usr/bin/java java /usr/local/java/jdk1.8.0_161/bin/java 300
  817  
sudo update-alternatives  --install /usr/bin/javac javac /usr/local/java/jdk1.8.0_161/bin/javac 300

sudo update-alternatives --config java

问题2:修改/etc/profile文件修改错误,出现ls命令,pwd等基本命令全部不能使用

export PATH=/bin:/usr/local/sbin:/usr/local/bin:/sbin:/bin:/usr/sbin:/usr/bin
2019-06-19 14:36:05 lin443514407lin 阅读数 421
  • 使用Apache Kylin搭建企业级开源大数据分析平台

    1024大数据技术峰会邀请到11位来自一线互联网企业的大数据核心研发团队骨干成员,针对选型开源技术搭建大数据平台、持续运维、优化提升大数据平台的各项性能,技术架构演进以及实现应用大数据支持业务创新发展,这几大核心展开深入的分享和交流。

    6484 人正在学习 去看看 互联网技术联盟

参考:https://blog.csdn.net/eyeofeagle/article/details/88991967

安装环境:cdh5.12.0

kylin:apache-kylin-2.6.2-bin-cdh57.tar.gz

下载:http://www-us.apache.org/dist/kylin/apache-kylin-2.6.2/

1、安装kylin

一、安装前准备

软件版本:

1.apache-kylin-2.6.2-bin-cdh57.tar.gz
2.CDH5.12.0
3.nginx-1.13.7.tar.gz

1、安装nginx依赖包

//一键安装上面四个依赖
yum -y install gcc zlib zlib-devel pcre-devel openssl openssl-devel

 2.下载nginx并解压安装包

//创建一个文件夹
cd /usr/local
mkdir nginx
cd nginx
//下载tar包
wget http://nginx.org/download/nginx-1.13.7.tar.gz
tar -xvf nginx-1.13.7.tar.g

3.安装nginx

//进入nginx目录
cd /usr/local/nginx
//执行命令
./configure
//执行make命令
make
//执行make install命令
make install

4、安装kylin

安装机器:

172.17.20.31   hadoop01  all
172.17.20.32   hadoop02 query

5、集群模式安装

1.在hadoop上解压部署apache-kylin-2.6.2-bin-cdh57.tar.gz

tar zxvf apache-kylin-2.6.2-bin-cdh57.tar.gz
mv apache-kylin-2.6.2-bin-cdh57 /opt/kylin

 2.在hadoop01和hadoop02修改配置

export KYLIN_HOME=/opt/kylin-2.6.2-cdh57
export SPARK_HOME=/opt/cloudera/parcels/CDH/lib/spark
export PATH=$PATH:$KYLIN_HOME/bin/:$SPARK_HOME/sbin
使配置生效

source /etc/profile

(2)配置kylin

vi $KYLIN_HOME/conf/kylin.properties

kylin.metadata.url= kylin_metadata@hbase
kylin.server.mode=all    // 只能有一个节点是all,其他节点为query
kylin.server.cluster-servers=hadoop01:7070,hadoop02v:7070

(3)配置加载hbase common lib

vi /opt/cloudera/parcels/CDH/lib/hbase/bin/hbase

改
CLASSPATH=${CLASSPATH}:$JAVA_HOME/lib/tools.jar
成
CLASSPATH=${CLASSPATH}:$JAVA_HOME/lib/tools.jar:/opt/cloudera/parcels/CDH/lib/hbase/lib/*

3.将/opt/kylin拷贝hadoop02

scp -r /opt/kylin hadoop02:/opt/

 

4.在hadoop02进行以下操作
(1)修改 /opt/cloudera/parcels/CDH/lib/hbase/bin/hbase

vi /opt/cloudera/parcels/CDH/lib/hbase/bin/hbase

改
CLASSPATH=${CLASSPATH}:$JAVA_HOME/lib/tools.jar
成
CLASSPATH=${CLASSPATH}:$JAVA_HOME/lib/tools.jar:/opt/cloudera/parcels/CDH/lib/hbase/lib/*

(2)修改kylin的配置

vi $KYLIN_HOME/conf/kylin.properties
kylin.server.mode=query

(3)在$spark_home下新家jars目录(hadoop01和hadoop2上)

mkdir $SPARK_HOME/jars/
cp $SPARK_HOME/assembly/lib/*.jar $SPARK_HOME/jars/)

5.在hadoop02上的nginx配置

upstream kylin-cluster {
       ip_hash;
        server 172.17.20.31:7070 max_fails=2 fail_timeout=5s;
        server 172.17.20.32:7070 max_fails=2 fail_timeout=5s;
         }
    server {
       listen       7001;
       server_name  172.20.20.32;

       #default_type 'text/html';
       charset utf-8;
       access_log  /data/logs/kylin/kylin_nginx.log  main;

       location  / {
                        proxy_pass http://kylin-cluster;
                        proxy_redirect default;
                        proxy_connect_timeout 60s;
                        proxy_send_timeout 1800s;
                        proxy_read_timeout 1800s;
                        proxy_ignore_client_abort on;
         }
     }

 

(3)reload nginx

四、启动kylin
1.检查配置依赖是否正确

$KYLIN_HOME/bin/check-env.sh

root@dev_cdh_001v:/usr/local/nginx/conf
#  $KYLIN_HOME/bin/check-env.sh
Retrieving hadoop conf dir...
KYLIN_HOME is set to /opt/kylin

2.在hadoop01和hadoop02启动kylin

$KYLIN_HOME/bin/kylin.sh start

3、导入官方数据

命令行  $KYLIN_HOME/bin/sample.sh

如果出现Restart Kylin Server or click Web UI => System Tab => Reload Metadata to take effect,就说明示例cube创建成功了

数据成功后,查看hbase里的数据

hbase(main):001:0> list
TABLE                                                                                                                                                                                                                                     
ims_tms_habsesql                                                                                                                                                                                                                          
kylin_metadata                                                                                                                                                                                                                            
member                                                                                                                                                                                                                                    
tspCompleteCondition                                                                                                                                                                                                                      
tspVehicleCondition                                                                                                                                                                                                                       
5 row(s) in 0.3570 seconds
 
=> ["ims_tms_habsesql", "kylin_metadata", "member", "tspCompleteCondition", "tspVehicleCondition"]
hbase(main):002:0> 

4、访问:172.20.20.32:7001/kylin

 

kylin单机版搭建OLAP

阅读数 370

没有更多推荐了,返回首页