精华内容
下载资源
问答
  • HUE

    2020-09-09 15:48:27
    HUE=Hadoop User Experience Hue是一个开源的Apache Hadoop UI系统,由Cloudera Desktop演化而来,最后Cloudera公司将其贡献给Apache基金会的Hadoop社区,它是基于Python Web框架Django实现的。 通过使用Hue我们...

    HUE=Hadoop User Experience

    Hue是一个开源的Apache Hadoop UI系统,由Cloudera Desktop演化而来,最后Cloudera公司将其贡献给Apache基金会的Hadoop社区,它是基于Python Web框架Django实现的。

    通过使用Hue我们可以在浏览器端的Web控制台上与Hadoop集群进行交互来分析处理数据,例如操作HDFS上的数据,运行MapReduce Job,执行Hive的SQL语句,浏览HBase数据库等等。

     

     

     

     

    展开全文
  • Hue

    2019-07-20 15:18:02
    1、Hue的介绍 HUE=Hadoop User Experience Hue是一个开源的Apache Hadoop UI系统,由Cloudera Desktop演化而来,最后Cloudera公司将其贡献给Apache基金会的Hadoop社区,它是基于Python Web框架Django实现的。 ...

    1、Hue的介绍

    HUE=Hadoop User Experience

    Hue是一个开源的Apache Hadoop UI系统,由Cloudera Desktop演化而来,最后Cloudera公司将其贡献给Apache基金会的Hadoop社区,它是基于Python Web框架Django实现的。

    通过使用Hue我们可以在浏览器端的Web控制台上与Hadoop集群进行交互来分析处理数据,例如操作HDFS上的数据,运行MapReduce Job,执行HiveSQL语句,浏览HBase数据库等等。

    HUE链接

    Hue的架构

    核心功能

    • SQL编辑器,支持Hive, Impala, MySQL, Oracle, PostgreSQL, SparkSQL, Solr SQL, Phoenix…

    • 搜索引擎Solr的各种图表

    • SparkHadoop的友好界面支持

    • 支持调度系统Apache Oozie,可进行workflow的编辑、查看

    HUE提供的这些功能相比Hadoop生态各组件提供的界面更加友好,但是一些需要debug的场景可能还是需要使用原生系统才能更加深入的找到错误的原因。

    HUE中查看Oozie workflow时,也可以很方便的看到整个workflowDAG图,不过在最新版本中已经将DAG图去掉了,只能看到workflow中的action列表和他们之间的跳转关系,想要看DAG图的仍然可以使用oozie原生的界面系统查看。

    1,访问HDFS和文件浏览

    2,通过web调试和开发hive以及数据结果展示

    3,查询solr和结果展示,报表生成

    4,通过web调试和开发impala交互式SQL Query

    5,spark调试和开发

    7,oozie任务的开发,监控,和工作流协调调度

    8,Hbase数据查询和修改,数据展示

    9,Hive的元数据(metastore)查询

    10,MapReduce任务进度查看,日志追踪

    11,创建和提交MapReduce,Streaming,Java job任务

    12,Sqoop2的开发和调试

    13,Zookeeper的浏览和编辑

    14,数据库(MySQL,PostGres,SQlite,Oracle)的查询和展示

     

    一句话总结:Hue是一个友好的界面集成框架,可以集成我们各种学习过的以及将要学习的框架,一个界面就可以做到查看以及执行所有的框架

    2、Hue的安装

    Hue的安装支持多种方式,包括rpm包的方式进行安装,tar.gz包的方式进行安装以及cloudera  manager的方式来进行安装等,我们这里使用tar.gz包的方式来记性安装

    第一步:下载Hue的压缩包并上传到linux解压

    Hue的压缩包的下载地址:

    http://archive.cloudera.com/cdh5/cdh/5/

    我们这里使用的是CDH5.14.0这个对应的版本,具体下载地址为

    http://archive.cloudera.com/cdh5/cdh/5/hue-3.9.0-cdh5.14.0.tar.gz

    下载然后上传到linux系统,然后进行解压

    cd /export/softwares/
    tar -zxvf hue-3.9.0-cdh5.14.0.tar.gz -C ../servers/
    

    第二步:编译安装启动

    2.1、linux系统安装依赖包:

    联网安装各种必须的依赖包

    yum install ant asciidoc cyrus-sasl-devel cyrus-sasl-gssapi cyrus-sasl-plain gcc gcc-c++ krb5-devel libffi-devel libxml2-devel libxslt-devel make  mysql mysql-devel openldap-devel python-devel sqlite-devel gmp-devel

    2.2、开始配置Hue

    cd /export/servers/hue-3.9.0-cdh5.14.0/desktop/conf
    vim  hue.ini
    
    #通用配置
    [desktop]
    secret_key=jFE93j;2[290-eiw.KEiwN2s3['d;/.q[eIW^y#e=+Iei*@Mn<qW5o
    http_host=node03.hadoop.com
    is_hue_4=true
    time_zone=Asia/Shanghai
    server_user=root
    server_group=root
    default_user=root
    default_hdfs_superuser=root
    #配置使用mysql作为hue的存储数据库,大概在hue.ini的587行左右
    [[database]]
    engine=mysql
    host=node03.hadoop.com
    port=3306
    user=root
    password=123456
    name=hue
    

    2.3、创建mysql数据库

    创建hue数据库
    create database hue default character set utf8 default collate utf8_general_ci;
    
    
    
    
    注意:实际工作中,还需要为hue这个数据库创建对应的用户,并分配权限,我这就不创建了,所以下面这一步不用执行了
    grant all on hue.* to 'hue'@'%' identified by 'hue';
    

    2.4、准备进行编译

    cd /export/servers/hue-3.9.0-cdh5.14.0
    make apps
    

    2.5、linux系统添加普通用户hue

    useradd hue
    passwd hue
    

    2.6、启动hue进程

    cd /export/servers/hue-3.9.0-cdh5.14.0/
    build/env/bin/supervisor
    

    2.7、页面访问

    http://node03:8888
    
    第一次访问的时候,需要设置管理员用户和密码
    我们这里的管理员的用户名与密码尽量保持与我们安装hadoop的用户名和密码一致,
    
    
    我们安装hadoop的用户名与密码分别是root  123456
    初次登录使用root用户,密码为123456
    

    进入之后发现我们的hue页面报错了,这个错误主要是因为hive的原因,因为我们的hue与hive集成的时候出错了,所以我们需要配置我们的hue与hive进行集成,接下里就看看我们的hue与hive以及hadoop如何进行集成

    3、hue与其他框架的集成

    3.1、hue与hadoop的HDFS以及yarn集成

    第一步:更改所有hadoop节点的core-site.xml配置

    记得更改完core-site.xml之后一定要重启hdfs与yarn集群

    <property>
        <name>hadoop.proxyuser.root.hosts</name>
        <value>*</value>
    </property>
    <property>
        <name>hadoop.proxyuser.root.groups</name>
        <value>*</value>
    </property> 
    

    第二步:更改所有hadoop节点的hdfs-site.xml

    <property>
    	  <name>dfs.webhdfs.enabled</name>
    	  <value>true</value>
    	</property>
    

    第三步:重启hadoop集群

    在node01机器上面执行以下命令

    cd /export/servers/hadoop-2.6.0-cdh5.14.0
    sbin/stop-dfs.sh
    sbin/start-dfs.sh
    sbin/stop-yarn.sh
    sbin/start-yarn.sh
    

    第四步:停止hue的服务,并继续配置hue.ini

    cd /export/servers/hue-3.9.0-cdh5.14.0/desktop/conf
    vim hue.ini
    
    
    配置我们的hue与hdfs集成
    [[hdfs_clusters]]
        [[[default]]]
    fs_defaultfs=hdfs://node01.hadoop.com:8020
    webhdfs_url=http://node01.hadoop.com:50070/webhdfs/v1
    hadoop_hdfs_home=/export/servers/hadoop-2.6.0-cdh5.14.0
    hadoop_bin=/export/servers/hadoop-2.6.0-cdh5.14.0/bin
    hadoop_conf_dir=/export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop
    
    
    配置我们的hue与yarn集成
    [[yarn_clusters]]
        [[[default]]]
          resourcemanager_host=node01
          resourcemanager_port=8032
          submit_to=True
          resourcemanager_api_url=http://node01:8088
          history_server_api_url=http://node01:19888
    

    3.2、配置hue与hive集成

    如果需要配置hue与hive的集成,我们需要启动hive的metastore服务以及hiveserver2服务(impala需要hive的metastore服务,hue需要hvie的hiveserver2服务)

    更改hue的配置hue.ini

    修改hue.ini

    [beeswax]
      hive_server_host=node03.hadoop.com
      hive_server_port=10000
      hive_conf_dir=/export/servers/hive-1.1.0-cdh5.14.0/conf
      server_conn_timeout=120
      auth_username=root
      auth_password=123456
    
    [metastore]
      #允许使用hive创建数据库表等操作
      enable_new_create_table=true
    

    启动hive的metastore服务

    去node03机器上启动hive的metastore以及hiveserver2服务

    cd /export/servers/hive-1.1.0-cdh5.14.0
    nohup bin/hive --service metastore &
    nohup bin/hive --service hiveserver2 &
    

    重新启动hue,然后就可以通过浏览器页面操作hive了

    3.3、配置hue与impala的集成

    停止hue的服务进程

    修改hue.ini配置文件

    [impala]
      server_host=node03
      server_port=21050
      impala_conf_dir=/etc/impala/conf
    

    3.4、配置hue与mysql的集成

    找到databases 这个选项,将这个选项下面的mysql注释给打开,然后配置mysql即可,大概在1547行

    [[[mysql]]]
          nice_name="My SQL DB"
          engine=mysql
          host=node03.hadoop.com
          port=3306
          user=root
          password=123456
    

    3.5、重新启动hue的服务

    cd /export/servers/hue-3.9.0-cdh5.14.0/
    build/env/bin/supervisor
    

    3.6、解决hive以及impala执行权限不足的问题

    在我们hive当中执行任意的查询,只要是需要跑MR的程序,就会报错,发现权限不够的异常,具体详细信息如下:

    INFO  : Compiling command(queryId=root_20180625191616_d02efd23-2322-4f3d-9cb3-fc3a06ff4ce0): select count(1) from mystu
    INFO  : Semantic Analysis Completed
    INFO  : Returning Hive schema: Schema(fieldSchemas:[FieldSchema(name:_c0, type:bigint, comment:null)], properties:null)
    INFO  : Completed compiling command(queryId=root_20180625191616_d02efd23-2322-4f3d-9cb3-fc3a06ff4ce0); Time taken: 0.065 seconds
    INFO  : Concurrency mode is disabled, not creating a lock manager
    INFO  : Executing command(queryId=root_20180625191616_d02efd23-2322-4f3d-9cb3-fc3a06ff4ce0): select count(1) from mystu
    INFO  : Query ID = root_20180625191616_d02efd23-2322-4f3d-9cb3-fc3a06ff4ce0
    INFO  : Total jobs = 1
    INFO  : Launching Job 1 out of 1
    INFO  : Starting task [Stage-1:MAPRED] in serial mode
    INFO  : Number of reduce tasks determined at compile time: 1
    INFO  : In order to change the average load for a reducer (in bytes):
    INFO  :   set hive.exec.reducers.bytes.per.reducer=<number>
    INFO  : In order to limit the maximum number of reducers:
    INFO  :   set hive.exec.reducers.max=<number>
    INFO  : In order to set a constant number of reducers:
    INFO  :   set mapreduce.job.reduces=<number>
    ERROR : Job Submission failed with exception 'org.apache.hadoop.security.AccessControlException(Permission denied: user=admin, access=EXECUTE, inode="/tmp":root:supergroup:drwxrwx---
    

    我们需要给hdfs上面的几个目录执行权限即可

    hdfs  dfs  -chmod o+x /tmp
    hdfs  dfs  -chmod o+x  /tmp/hadoop-yarn
    hdfs  dfs  -chmod o+x  /tmp/hadoop-yarn/staging
    

    或者我们可以这样执行

    hdfs  dfs  -chmod -R o+x /tmp

    可以将/tmp目录下所有的文件及文件夹都赋予权限

    继续执行hive的任务就不会报错了

    展开全文
  • hue

    2017-02-07 16:09:19
    Hue是cdh专门的一套web管理器,它包括3个部分hue ui,hue server,hue db。hue提供所有的cdh组件的shell界面的接口。你可以在hue编写mr,查看修改hdfs的文件,管理Hive的元数据,运行Sqoop,编写Oozie工作流等大量...

    Hue是cdh专门的一套web管理器,它包括3个部分hue ui,hue server,hue db。hue提供所有的cdh组件的shell界面的接口。你可以在hue编写mr,查看修改hdfs的文件,管理Hive的元数据,运行Sqoop,编写Oozie工作流等大量工作。

    HUE官方地址http://gethue.com/

    默认基于轻量级sqlite数据库管理会话数据,用户认证和授权,可以自定义为MySQL、Postgresql,以及Oracle
    基于文件浏览器(File Browser)访问HDFS
    基于Hive编辑器来开发和运行Hive查询
    支持基于Solr进行搜索的应用,并提供可视化的数据视图,以及仪表板(Dashboard)
    支持基于Impala的应用进行交互式查询
    支持Spark编辑器和仪表板(Dashboard)
    支持Pig编辑器,并能够提交脚本任务
    支持Oozie编辑器,可以通过仪表板提交和监控Workflow、Coordinator和Bundle
    支持Hbase浏览器,能够可视化数据、查询数据、修改HBase表
    支持Metastore浏览器,可以访问Hive的元数据,以及HCatalog
    支持Job浏览器,能够访问MapReduce Job(MR1/MR2-YARN)
    支持Job设计器,能够创建MapReduce/Streaming/Java Job
    支持Sqoop 2编辑器和仪表板(Dashboard)
    支持ZooKeeper浏览器和编辑器
    支持MySql、PostGresql、Sqlite和Oracle数据库查询编辑器

    安装hue


    这里我用的hue Docker image. 就省去了安装,
    环境:centos7 3台, 已经安装了ambari的Hadoop集群

    docker拉取hue

    docker pull gethue/hue:latest
    • 1
    • 1

    检测下服务器没有被占用8888端口

    netstat -anp | grep 8888
    • 1
    • 1

    运行hue


    运行image

    docker run -tid --name hue8888 --hostname cnode1.domain.org \
     -p 8888:8888 -v /usr/hdp:/usr/hdp -v /etc/hadoop:/etc/hadoop \
     -v /etc/hive:/etc/hive -v /etc/hbase:/etc/hbase \
     -v /docker-config/pseudo-distributed.ini /hue/desktop/conf/pseudo-distributed.ini \
      c-docker.domain.org:5000/hue:latest \
       ./build/env/bin/hue runserver_plus 0.0.0.0:8888
    • 1
    • 2
    • 3
    • 4
    • 5
    • 6
    • 1
    • 2
    • 3
    • 4
    • 5
    • 6

    解释下上面的命令,

        -i 标志保证容器中STDIN是开启的
        -t 表示告诉docker要为创建的容器分配一个伪tty终端
        -d 会把容器放到后台运行
        --name alias_name 可以为这个docker指定一个别名, 要放前面, e.g.:docker run -tid --name alias_name images:version /bin/bash
        --hostname 指定hostname, 类似--ip
        -p docker 容器的端口:外部主机的端口, 作端口映射, 来公开在dockerfile里面定义的expose的所有端口.
        -v 挂在目录, 外部主机目录:容器内部目录, 这里我挂在了 ambari的 hadoop配置文件/etc/hadoop, hive配置路径/etc/hive, hbase配置路径/etc/hbase, 以及用了本地的hue配置文件去替代docker里面的hue配置文件.
        最后是要启动容器后要运行的命令 ./build/env/bin/hue runserver_plus 0.0.0.0:8888
        cnode1.domain.org 是我的一台服务器的域名. 拿来跑hue的
        c-docker.domain.org 是我的私有docker仓库. 注意这里需要在docker daemon里面加上 --insecure-registry c-docker.domain.org:5000来允许不安全的授权拉取, centos7具体修改docker insecure-registry如下
    
    • 1
    • 2
    • 3
    • 4
    • 5
    • 6
    • 7
    • 8
    • 9
    • 10
    • 11
    • 1
    • 2
    • 3
    • 4
    • 5
    • 6
    • 7
    • 8
    • 9
    • 10
    • 11
    vim /etc/systemd/system/docker.service
    在[Service]下增加和修改如下内容
    EnvironmentFile=-/etc/sysconfig/docker
    ExecStart=/usr/bin/docker daemon -H fd:// $OPTIONS
    
    
    vim /etc/sysconfig/docker
    添加
        OPTIONS="-D --selinux-enabled --insecure-registry c-docker.domain.org:5000"
    重启docker和daemon
    systemctl restart docker
    systemctl daemon-reload
    • 1
    • 2
    • 3
    • 4
    • 5
    • 6
    • 7
    • 8
    • 9
    • 10
    • 11
    • 12
    • 1
    • 2
    • 3
    • 4
    • 5
    • 6
    • 7
    • 8
    • 9
    • 10
    • 11
    • 12

    配置hue


    hue-docker的相关配置文件在/hue/desktop/conf/pseudo-distributed.ini
    修改相关参数, scp传出来后修改如下参数,保存到主机cnode1上/docker-config/pseudo-distributed.ini

    http_port=8888
    fs_defaultfs=hdfs://cnode1.domain.org:8020
    logical_name=cnode1
    webhdfs_url=http://cnode1.domain.org:50070/webhdfs/v1
    hadoop_conf_dir=/etc/hadoop/conf
    
    
    hive_server_host=cnode1.domain.org
    hive_server_port=10000
    hive_conf_dir=/etc/hive
    
    
    hbase_clusters=(cluster1|cnode2.domain.org:9090)
    hbase_conf_dir=/etc/hbase
    • 1
    • 2
    • 3
    • 4
    • 5
    • 6
    • 7
    • 8
    • 9
    • 10
    • 11
    • 12
    • 13
    • 14
    • 1
    • 2
    • 3
    • 4
    • 5
    • 6
    • 7
    • 8
    • 9
    • 10
    • 11
    • 12
    • 13
    • 14

    注意上面的地址 hbase_clusters 的cluster1只是hue里面显示的, 可以随便命名, cnode2.domain.org:9090 是hbase thrift 1的地址, 在ambari的主机里面用如下命令启动起来

    /usr/hdp/2.4.0.0-169/hbase/bin/hbase-daemon.sh start thrift
    • 1
    • 1

    使用


    第一次进入需要配置账户和密码

    hue-hbase)

    使用hue来连接mysql


    同样是编辑pseudo-distributed.ini,
    找到[librdbms]这段后, 按照自己需要修改如下的内容, 注意要取消[[[mysql]]]的注释

        [[[mysql]]]
          nice_name="Hyve-ENG UAT MySQL"
          name=dbname_test
    
          # Database backend to use. This can be:
          # 1. mysql
          # 2. postgresql
          # 3. oracle
          engine=mysql
          host=192.168.85.100
    
          # Port the database server is listening to. Defaults are:
          # 1. MySQL: 3306
          # 2. PostgreSQL: 5432
          # 3. Oracle Express Edition: 1521
          port=3306
    
          # Username to authenticate with when connecting to the database.
          user=tom
    
          # Password matching the username to authenticate with when
          # connecting to the database.
          password=db12@34#56%78
    • 1
    • 2
    • 3
    • 4
    • 5
    • 6
    • 7
    • 8
    • 9
    • 10
    • 11
    • 12
    • 13
    • 14
    • 15
    • 16
    • 17
    • 18
    • 19
    • 20
    • 21
    • 22
    • 23
    • 1
    • 2
    • 3
    • 4
    • 5
    • 6
    • 7
    • 8
    • 9
    • 10
    • 11
    • 12
    • 13
    • 14
    • 15
    • 16
    • 17
    • 18
    • 19
    • 20
    • 21
    • 22
    • 23

    保存后, 重启docker Container

    docker restart hue8888
    • 1
    • 1

    接下来就可以在http://cnode1.domain.org:8888/rdbms/ 来进行对应的mysql查询.

    hue connect to mysql

    多个db支持, 需要复制完整的 对应的db段, 比如要支持postsql, 或者新的mysql db库, 需要复制
    如下, 在options里面可以定制相关编码等:

    [[[mysql3]]]
    nice_name="UAT MySQL"
    name=mysqldbname
    engine=mysql
    host=192.168.80.116
    port=3306
    user=tommy
    password=p12391kf1#jkew
    [[[mysql2]]]
    nice_name="UAT MySQL"
    name=mysqldbname2
    engine=mysql
    host=192.168.80.116
    port=3306
    user=tommy
    password=p12391kf1#jkew
    options={ "init_command":"SET NAMES 'utf8'"}
    • 1
    • 2
    • 3
    • 4
    • 5
    • 6
    • 7
    • 8
    • 9
    • 10
    • 11
    • 12
    • 13
    • 14
    • 15
    • 16
    • 17
    • 1
    • 2
    • 3
    • 4
    • 5
    • 6
    • 7
    • 8
    • 9
    • 10
    • 11
    • 12
    • 13
    • 14
    • 15
    • 16
    • 17

    options里面init_command支持一些初始化链接行为, 比如设置编码, 设置连接超时, 设置select的limit数量,
    具体可以参考http://dev.mysql.com/doc/refman/5.6/en/mysql-tips.html#safe-updates 和django的database部分, 比如下面

     "init_command": 'set storage_engine=INNODB;    \
                     SET SESSION TRANSACTION ISOLATION LEVEL READ COMMITTED', }
    • 1
    • 2
    • 1
    • 2

    设置默认查询数量,

    options={"init_command": "SET sql_select_limit=100"}
    • 1
    • 1

    多组init_command:

    options={"init_command": "SET sql_select_limit=100; SET names 'utf8'; SET sql_safe_updates=1"}
    • 1
    展开全文
  • Apache Hue

    万次阅读 2019-12-06 19:54:29
    1丶Apache Hue介绍 HUE=Hadoop User Experience Hue是一个开源的Apache Hadoop UI系统,由Cloudera Desktop演化而来,最后Cloudera公司将其贡献给Apache基金会的Hadoop社区,它是基于Python Web框架Django实现的。 ...

    1丶Apache Hue介绍
    HUE=Hadoop User Experience
    Hue是一个开源的Apache Hadoop UI系统,由Cloudera Desktop演化而来,最后Cloudera公司将其贡献给Apache基金会的Hadoop社区,它是基于Python Web框架Django实现的。
    通过使用Hue,可以在浏览器端的Web控制台上与Hadoop集群进行交互,来分析处理数据,例如操作HDFS上的数据,运行MapReduce Job,执行Hive的SQL语句,浏览HBase数据库等等。

    2丶Hue能做什么
    访问HDFS和文件浏览
    通过web调试和开发hive以及数据结果展示
    查询solr和结果展示,报表生成
    通过web调试和开发impala交互式SQL Query
    spark调试和开发
    Pig开发和调试
    oozie任务的开发,监控,和工作流协调调度
    Hbase数据查询和修改,数据展示
    Hive的元数据(metastore)查询
    MapReduce任务进度查看,日志追踪
    创建和提交MapReduce,Streaming,Java job 任务
    Sqoop2的开发和调试
    Zookeeper的浏览和编辑
    数据库(MySQL,PostGres,SQlite, Oracle)的查询和展示

    3丶Hue的架构
    Hue是一个友好的界面集成框架,可以集成各种 大量的大数据体系软件框架,通过一个界面就可以 做到查看以及执行所有的框架。
    Hue提供的这些功能相比Hadoop生态各组件提 供的界面更加友好,但是一些需要debug的场景可 能还是要使用原生系统才能更加深入的找到错误的 原因。
    在这里插入图片描述

    Hue的安装

    1丶上传解压安装包
    Hue的压缩包的下载地址:
    http://archive.cloudera.com/cdh5/cdh/5/

    我们这里使用的是CDH5.14.0这个对应的版本,具体下	载地址为
    http://archive.cloudera.com/cdh5/cdh/5/hue-3.9.0-	cdh5.14.0.tar.gz
    cd /export/servers/
    tar -zxvf hue-3.9.0-cdh5.14.0.tar.gz
    

    2丶编译初始化工作
    2.1 联网安装各种必须的依赖包
    yum install -y asciidoc cyrus-sasl-devel cyrus- sasl-gssapi cyrus-sasl-plain gcc gcc-c++ krb5- devel libffi-devel libxml2-devel libxslt-devel make openldap-devel python-devel sqlite-devel gmp- devel
    2.2Hue初始化配置
    cd /export/servers/hue-3.9.0-cdh5.14.0/desktop/conf
    vim hue.ini

    #通用配置
    [desktop]
    secret_key=jFE93j;2[290-		eiw.KEiwN2s3['d;/.q[eIW^y#e=+Iei*@Mn<qW5o
    http_host=node-1
    is_hue_4=true
    time_zone=Asia/Shanghai
    server_user=root
    server_group=root
    default_user=root
    default_hdfs_superuser=root
    #配置使用mysql作为hue的存储数据库,大概在hue.ini的	587行左右
    [[database]]
    engine=mysql
    host=node-1
    port=3306
    user=root
    password=Hadoop
    name=hue
    

    2.3 创建mysql中Hue使用的DB
    create database hue default character set utf8 default collate utf8_general_ci;

    3丶编译Hue

    cd /export/servers/hue-3.9.0-cdh5.14.0
    make apps
    

    4丶启用Hue丶WebUI 访问

    cd /export/servers/hue-3.9.0-cdh5.14.0/
    build/env/bin/supervisor
    页面访问路径:
    http://node-1:8888
    

    Hue与软件的集成

    1丶Hue集成HDFS
    修改hadoop的core-site.xml配置

    <property>
    <name>hadoop.proxyuser.root.hosts</name>
    <value>*</value>
    </property>
    <property>
    <name>hadoop.proxyuser.root.groups</name>
    <value>*</value>
    </property>
    

    修改core-site.xml配置

    <property>
      <name>dfs.webhdfs.enabled</name>
      <value>true</value>
    </property>
    

    修改hue.ini

    [[hdfs_clusters]]
    	[[[default]]]
    fs_defaultfs=hdfs://node-1:9000
    webhdfs_url=http://node-1:50070/webhdfs/v1
    hadoop_hdfs_home= /export/servers/hadoop-	2.7.5
    hadoop_bin=/export/servers/hadoop-2.7.5/bin
    hadoop_conf_dir=/export/servers/hadoop-2.7.5/etc/hadoop
    

    重启hdfs,hue

    start-dfs.sh
    cd /export/servers/hue-3.9.0-cdh5.14.0/
    build/env/bin/supervisor
    

    Hue集成Hive

    修改Hue.ini
    [beeswax]
    hive_server_host=node-1
    hive_server_port=10000
    hive_conf_dir=/export/servers/hive/conf
    server_conn_timeout=120
    auth_username=root
    auth_password=123456
    [metastore]
    #允许使用hive创建数据库表等操作
    enable_new_create_table=true

    启动hive服务,重启hue
    去node-1机器上启动hive的metastore以及 hiveserver2服务
    cd /export/servers/hive
    nohup bin/hive --service metastore &
    nohup bin/hive --service hiveserver2 &
    重新启动hue。
    cd /export/servers/hue-3.9.0-cdh5.14.0/
    build/env/bin/supervisor

    Hue集成Mysql

    修改hue.ini
    [[[mysql]]]
    nice_name=“My SQL DB”
    engine=mysql
    host=node-1
    port=3306
    user=root
    password=hadoop

    重启hue
    cd /export/servers/hue-3.9.0-cdh5.14.0/
    build/env/bin/supervisor

    展开全文
  • Hue>Hue介绍

    2019-12-07 16:55:49
    Apache Hue介绍 1.Hue是什么 HUE=Hadoop User Experience Hue是一个开源的Apache Hadoop UI系统,由Cloudera Desktop演化而来,最后Cloudera公司将其贡献给Apache基金会的Hadoop社区,它是基于Python Web框架...
  • The Hue Editor is a mature open source SQL Assistant for querying any Databases & Data Warehouses. Many companies and organizations use Hue to quickly answer questions via self-service querying. ...
  • Hue>Hue集成Hive

    2019-12-07 17:54:14
    文章目录Hue集成Hive修改Hue.ini启动Hive服务、重启hue Hue集成Hive 如果需要配置hue与hive的集成,我们需要启动hive的metastore服务以及hiveserver2服务(impala需要hive的metastore服务,hue需要hvie的hiveserver...
  • HueHue入门解析

    千次阅读 2019-12-08 15:24:11
    一、 Apache Hue介绍 1、Hue是什么 HUE英文全称为Hadoop User Experience,是一个开源的Apache Hadoop UI系统,由Cloudera Desktop演化而来,最后Cloudera公司将其贡献给Apache基金会的Hadoop社区,它是基于...
  • <div><p>Issue #7863 explains that the ONLINE/OFFLINE status of the Hue binding has no direct relation to whenever the binding is connected to the Hue bridge, but merely shows that the bridge is ...
  • Hue>Hue集成HDFS

    2019-12-07 17:44:59
    文章目录Hue集成HDFS1、修改core-site.xml配置2、修改hdfs-site.xml配置3、修改hue.ini4、重启HDFS、Hue Hue集成HDFS 注意修改完HDFS相关配置后,需要把配置scp给集群中每台机器,重启hdfs集群。 1、修改core-site....
  • Hue>Hue集成Mysql

    2019-12-07 17:58:21
    修改hue.ini 需要把mysql的注释给去掉。 大概位于1546行 [[[mysql]]] nice_name="My SQL DB" engine=mysql host=node-1 port=3306 user=root password=hadoop 重启hue cd /export/servers/hue-3.9...
  • Hue>Hue集成YARN

    2019-12-07 17:47:36
    文章目录修改hue.ini开启yarn日志聚集服务重启Yarn、Hue 修改hue.ini [[yarn_clusters]] [[[default]]] resourcemanager_host=node-1 resourcemanager_port=8032 submit_to=True resourcemanager_api_url=h...
  • Hue基础

    2020-10-12 21:07:13
    Hue基础Hue的介绍Hue的架构核心功能Hue的安装第一步:下载Hue的压缩包并上传到linux解压第二步:编译安装启动开始配置Hue创建mysql数据库准备进行编译linux系统添加普通用户hue启动hue进程页面访问hue与其他框架的...
  • CM安装Hue测试hue数据库连接异常使用;
  • Apache Hue:Hue集成Impala

    千次阅读 2019-12-09 17:35:39
    Hue集成Impala 修改Hue.ini [impala] server_host=node-3 server_port=21050 impala_conf_dir=/etc/impala/conf 重启Hue cd /export/servers/hue-3.9.0-cdh5.14.0/ build/env/bin/supervisor
  • <p>Hi, I have a hue dimmer switch (the rectangular 4 buttons one) and a hue bulb (warm ambiance). Both bind successfully to zigbee2mqtt and I can see button presses and can control the bulb fine. <p>...
  • Apache Hue: Hue集成Hive

    千次阅读 2019-12-09 17:14:13
    Hue集成Hive 如果需要配置hue与hive的集成,我们需要启动hive的metastore服务以及hiveserver2服务(impala需要hive的metastore服务,hue需要hvie的hiveserver2服务)。 修改Hue.ini [beeswax] hive_server_host=...
  • Hue安装

    2020-09-11 15:29:45
    文章目录Hue安装安装环境安装流程下载安装包安装依赖编译启动测试启动方式1启动方式2配置Hue配置Hue元数据存储使用MySQL(默认使用SQLite)修改pseudo-distributed.ini创建数据库初始化数据库配置Hue语言为中文修改...
  • Apache Hue.pdf

    2020-09-17 19:35:56
    hue 学习
  • hue-3.12.0

    2017-06-07 00:32:14
    hue 3.12.0
  • Hue>Hue集成Oozie

    2019-12-09 21:25:05
    修改hue配置文件hue.ini [liboozie] # The URL where the Oozie service runs on. This is required in order for # users to submit jobs. Empty value disables the config check. oozie_url=...
  • Hue搭建

    2021-01-07 09:49:54
    Hue概述 Hue是开源的Apache Hadoop UI系统(HUE=HadoopUser Experience),最早是由Cloudera Desktop演化而来,由Cloudera贡献给开源社区,它是基于Python Web框架Django实现的。通过使用Hue我们可以在浏览器端的Web...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 9,522
精华内容 3,808
关键字:

hue