精华内容
下载资源
问答
  • 华为FusionInsight HD

    2018-03-15 15:30:51
    华为 FusionInsight HD文档,比较详细的文档,大数据相关
  • 华为FusionInsight大数据案例集.zip
  • 华为FusionInsight HD 2.7 技术白皮书,详细介绍了华为版Hadoop的各个组件功能。华为FusionInsight是华为企业级大数据存储、查询、分析的统一平台。
  • 华为FusionInsight HD 2.7技术白皮书简要版本
  • 华为 Fusioninsight 配置文件,内部培训用
  • 华为 fusionInsight6.5在centos7上的安装教程, 同时配置hbase支持ExportSnapshot到s3
  • 华为 FusionInsight HD V100R002C80SPC200 单机版安装指导。FusionInsight HD V100R002C80SPC200 支持在一台服务器上安装FusionInsight集群。用户可以利用单机版进行产品体验、应用对接等测试活动。 注意:本文档只...
  • HCS Solution-大数据-华为FusionInsight HD 价值特性.............
  • HCS Solution-大数据-华为FusionInsight HD 集成设计...................
  • 华为FusionInsight HD V100R002C60SPC200 产品文档 07(chm)
  • FusionInsight LibrA V100R002C71 产品文档 华为云开发文档
  • 在使用华为FusionInsight大数据产品过程中遇到一个坑,项目需求是利用spark处理数据后把结果集写入PostgreSQL,但是一直报用户名密码不正确。经定位发现,华为FI产品中有一个组件叫DBService,其中使用华为修改的org...

    在使用华为FusionInsight大数据产品过程中遇到一个坑,项目需求是利用spark处理数据后把结果集写入PostgreSQL,但是一直报用户名密码不正确。经定位发现,华为FI产品中有一个组件叫DBService,其中使用华为修改的org.postgresql.Driver, 而这个类在所有的FusionInsight包含的产品中都有依赖,执行用户代码时顺带加载了这个类,与jar中的开源类存在冲突。

    解决方案:

    解决spark包冲突,利用maven shade plugin。

    <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/maven-v4_0_0.xsd">
        <modelVersion>4.0.0</modelVersion>
        <groupId>net.ben</groupId>
        <artifactId>demo</artifactId>
        <version>1.0-SNAPSHOT</version>
        <properties>
            <project.build.sourceEncoding>UTF-8</project.build.sourceEncoding>
            <project.reporting.outputEncoding>UTF-8</project.reporting.outputEncoding>
            <maven.compiler.encoding>UTF-8</maven.compiler.encoding>
            <java.version>1.8</java.version>
        </properties>
        <dependencies>
            <dependency>
                <groupId>org.postgresql</groupId>
                <artifactId>postgresql</artifactId>
                <version>42.2.5</version>
            </dependency>
    
            <dependency>
                <groupId>junit</groupId>
                <artifactId>junit</artifactId>
                <version>4.12</version>
                <scope>test</scope>
            </dependency>
        </dependencies>
    
    
    
        <build>
    
            <plugins>
                <plugin>
                    <groupId>org.apache.maven.plugins</groupId>
                    <artifactId>maven-compiler-plugin</artifactId>
                    <version>3.1</version>
                    <configuration>
                        <encoding>UTF-8</encoding>
                        <source>${java.version}</source>
                        <target>${java.version}</target>
                    </configuration>
                </plugin>
                
                <plugin>
                    <groupId>org.apache.maven.plugins</groupId>
                    <artifactId>maven-shade-plugin</artifactId>
                    <version>3.2.1</version>
                    <executions>
                        <execution>
                            <phase>package</phase>
                            <goals>
                                <goal>shade</goal>
                            </goals>
                            <configuration>
                                <relocations>
                                    <relocation>
                                        <pattern>org.postgresql</pattern>
                                        <shadedPattern>net.ben.shade.org.postgresql</shadedPattern>
                                    </relocation>
                                </relocations>
                                <filters>
                                    <filter>
                                        <artifact>*:*</artifact>
                                        <excludes>
                                            <exclude>META-INF/maven/**</exclude>
                                        </excludes>
                                    </filter>
                                </filters>
                                <transformers>
                                    <transformer implementation="org.apache.maven.plugins.shade.resource.ManifestResourceTransformer">
                                        <mainClass>net.ben.App</mainClass>
                                    </transformer>
                                </transformers>
                                <shadedArtifactAttached>true</shadedArtifactAttached>
                                <shadedClassifierName>shade</shadedClassifierName>
                            </configuration>
                        </execution>
                    </executions>
                </plugin>
    
            </plugins>
        </build>
    
        <repositories>
            <repository>
                <id>nexus-aliyun</id>
                <name>Nexus aliyun</name>
                <layout>default</layout>
                <url>https://maven.aliyun.com/repository/public</url>
                <snapshots>
                    <enabled>false</enabled>
                </snapshots>
                <releases>
                    <enabled>true</enabled>
                </releases>
            </repository>
        </repositories>
        <pluginRepositories>
            <pluginRepository>
                <id>nexus-aliyun</id>
                <name>Nexus aliyun</name>
                <layout>default</layout>
                <url>http://maven.aliyun.com/nexus/content/groups/public</url>
                <snapshots>
                    <enabled>false</enabled>
                </snapshots>
                <releases>
                    <enabled>true</enabled>
                </releases>
            </pluginRepository>
        </pluginRepositories>
    </project>

     

    展开全文
  • 1.华为FusionInsight 大数据平台 自带的solr版本和atlas版本(1.0.0)存在不兼容的情况;我为了赶工期,没有特意深究,自己搭建了solr cloud 模式,博客可以参考:https://blog.csdn.net/u010235716/article/...

    本案例在使用了编译好的atlas 版本号1.0.0 ,本文重在讲解如何集成;编译atlas,可以在其他博客中找一下

     

    1.华为FusionInsight 大数据平台 自带的solr版本和atlas版本(1.0.0)存在不兼容的情况;我为了赶工期,没有特意深究,自己搭建了solr cloud 模式,博客可以参考:https://blog.csdn.net/u010235716/article/details/104946962

    2. 准备好jdk环境变量;

     

    • 安装

    • 1.上传解压 编译好的atlas-1.0.0.zip到 /data 目录,并解压文件
    #解压
    unzip atlas-1.0.0.zip
    • 2.进入 cd /data/atlas-1.0.0/distro/target/ 目录,解压apache-atlas-1.0.0-bin.tar.gz文件
    [root@SHB-L0120794 atlas-1.0.0]# cd /data/atlas-1.0.0/distro/target/
    [root@SHB-L0120794 target]# ll
    total 374316
    drwxr-xr-x 11 root root      4096 Mar 17 12:11 apache-atlas-1.0.0
    drwxr-xr-x  3 root root      4096 Nov 12  2018 apache-atlas-1.0.0-bin.bak
    -rw-r--r--  1 root root 269882584 Nov 12  2018 apache-atlas-1.0.0-bin.tar.gz
    drwxr-xr-x  3 root root      4096 Nov 12  2018 apache-atlas-1.0.0-falcon-hook
    -rw-r--r--  1 root root   8984504 Nov 12  2018 apache-atlas-1.0.0-falcon-hook.tar.gz
    drwxr-xr-x  3 root root      4096 Nov 12  2018 apache-atlas-1.0.0-hbase-hook
    -rw-r--r--  1 root root  16618230 Nov 12  2018 apache-atlas-1.0.0-hbase-hook.tar.gz
    drwxr-xr-x  3 root root      4096 Nov 12  2018 apache-atlas-1.0.0-hive-hook
    -rw-r--r--  1 root root  20269877 Nov 12  2018 apache-atlas-1.0.0-hive-hook.tar.gz
    drwxr-xr-x  3 root root      4096 Nov 12  2018 apache-atlas-1.0.0-kafka-hook
    -rw-r--r--  1 root root   9021206 Nov 12  2018 apache-atlas-1.0.0-kafka-hook.tar.gz
    drwxr-xr-x  3 root root      4096 Nov 12  2018 apache-atlas-1.0.0-migration-exporter
    -rw-r--r--  1 root root      5696 Nov 12  2018 apache-atlas-1.0.0-migration-exporter.zip
    -rw-r--r--  1 root root  10349836 Nov 12  2018 apache-atlas-1.0.0-sources.tar.gz
    drwxr-xr-x  3 root root      4096 Nov 12  2018 apache-atlas-1.0.0-sqoop-hook
    -rw-r--r--  1 root root   8969601 Nov 12  2018 apache-atlas-1.0.0-sqoop-hook.tar.gz
    drwxr-xr-x  3 root root      4096 Nov 12  2018 apache-atlas-1.0.0-storm-hook
    -rw-r--r--  1 root root  39003696 Nov 12  2018 apache-atlas-1.0.0-storm-hook.tar.gz
    drwxr-xr-x  2 root root      4096 Nov 12  2018 archive-tmp
    -rw-r--r--  1 root root     94839 Nov 12  2018 atlas-distro-1.0.0.jar
    drwxr-xr-x  2 root root      4096 Nov 12  2018 bin
    drwxr-xr-x  5 root root      4096 Nov 12  2018 conf
    drwxr-xr-x  2 root root      4096 Nov 12  2018 maven-archiver
    drwxr-xr-x  3 root root      4096 Nov 12  2018 maven-shared-archive-resources
    drwxr-xr-x  2 root root      4096 Nov 12  2018 META-INF
    -rw-r--r--  1 root root      3493 Nov 12  2018 rat.txt
    drwxr-xr-x  3 root root      4096 Nov 12  2018 test-classes
    • 3.集成hbase
    •       3.1 编辑atlas配置文件
    #编辑
    vim /data/atlas-1.0.0/distro/target/apache-atlas-1.0.0/conf/atlas-application.properties 
    
    
    #配置存储
    atlas.graph.storage.backend=hbase
    #配置表名
    atlas.graph.storage.hbase.table=atlas
    
    #Hbase
    #For standalone mode , specify localhost
    #for distributed mode, specify zookeeper quorum here
    #配置主机名称
    atlas.graph.storage.hostname=shb-l0120794,shb-l0120795,shb-l0120796
    
    #########  Entity Audit Configs  #########
    #该表会在hbase中被自动创建
    atlas.audit.hbase.tablename=apache_atlas_entity_audit
    atlas.audit.zookeeper.session.timeout.ms=1000
    #配置zk主机
    atlas.audit.hbase.zookeeper.quorum=shb-l0120794,shb-l0120795,shb-l0120796
    •       3.2 把HBase安装路径中,/conf目录全部配置文件放置到atlas的hbase目录: /data/atlas-1.0.0/distro/target/apache-atlas-1.0.0/conf/hbase;这里需要在华为web UI界面下载安装后操作

    或者将如下hbase安装目录下的全部文件,复制到atlas的hbase目录

    /opt/huawei/Bigdata/FusionInsight_HD_V100R002C70SPC200/1_27_RegionServer/etc
    •      3.3  修改/conf 目录下的atlas-env.sh文件,导入hbase路径
    export HBASE_CONF_DIR=/data/atlas-1.0.0/distro/target/apache-atlas-1.0.0/conf/hbase
    • 4.集成solr
    •        4.1 将/conf/solr文件夹,拷贝到solr5.5.1的安装目录中,
    [root@SHB-L0120794 conf]# pwd
    /data/atlas-1.0.0/distro/target/apache-atlas-1.0.0/conf
    [root@SHB-L0120794 conf]# ll
    total 88
    -rw-r--r-- 1 root root 12319 Mar 19 21:20 atlas-application.properties
    -rw-r--r-- 1 root root  3353 Mar 17 13:45 atlas-env.sh
    -rw-r--r-- 1 root root  5164 Mar 19 20:30 atlas-log4j.xml
    -rw-r--r-- 1 root root  5156 Mar 19 20:28 atlas-log4j.xml.info
    -rw-r--r-- 1 root root  1459 Nov  9  2018 atlas-simple-authz-policy.json
    -rw-r--r-- 1 root root 31403 Nov  9  2018 cassandra.yml.template
    drwxr-xr-x 2 root root  4096 Mar 19 20:16 hbase
    drwxr-xr-x 3 root root  4096 Mar 17 12:01 solr
    -rw-r--r-- 1 root root   207 Nov  9  2018 users-credentials.properties
    drwxr-xr-x 2 root root  4096 Mar 17 12:01 zookeeper
    [root@SHB-L0120794 conf]# 

        重命名solr文件夹为apache-atlas-conf

    [root@SHB-L0120794 solr5.5_1]# pwd
    /data/solrcloud/solr5.5_1
    [root@SHB-L0120794 solr5.5_1]# ll
    total 1240
    drwxr-xr-x  3 root root   4096 Mar 18 10:53 apache-atlas-conf
    drwxr-xr-x  3 root root   4096 Mar 18 12:21 bin
    -rw-r--r--  1 root root 555321 May  1  2016 CHANGES.txt
    drwxr-xr-x 13 root root   4096 May  1  2016 contrib
    drwxr-xr-x  4 root root   4096 Mar 17 14:53 dist
    drwxr-xr-x 19 root root   4096 Mar 17 14:53 docs
    drwxr-xr-x  7 root root   4096 Mar 17 14:53 example
    drwxr-xr-x  2 root root  36864 Mar 17 14:53 licenses
    -rw-r--r--  1 root root  12646 Feb  1  2016 LICENSE.txt
    -rw-r--r--  1 root root 590277 May  1  2016 LUCENE_CHANGES.txt
    -rw-r--r--  1 root root  26529 Feb  1  2016 NOTICE.txt
    -rw-r--r--  1 root root   7162 May  1  2016 README.txt
    drwxr-xr-x 11 root root   4096 Mar 17 14:53 server
    [root@SHB-L0120794 solr5.5_1]# 
    •      4.2 配置atlas 
    #编辑
    vim /data/atlas-1.0.0/distro/target/apache-atlas-1.0.0/conf/atlas-application.properties 
    
    
    #配置项目
    # Graph Search Index
    #配置查询索引
    atlas.graph.index.search.backend=solr
    
    #Solr
    #Solr cloud mode properties
    atlas.graph.index.search.solr.mode=cloud
    #配置solr zk
    atlas.graph.index.search.solr.zookeeper-url=shb-l0120794:24002,shb-l0120795:24002,shb-l0120796:24002
    •      4.3 创建  solr collection.可以在solr web UI的cloud中验证
    bash /data/solrcloud/solr5.5_1/bin/solr create -c vertex_index -d /data/solrcloud/solr5.5_1/apache-atlas-conf -shards 2 -replicationFactor 2
    bash /data/solrcloud/solr5.5_1/bin/solr create -c edge_index -d /data/solrcloud/solr5.5_1/apache-atlas-conf -shards 2 -replicationFactor 2
    bash /data/solrcloud/solr5.5_1/bin/solr create -c fulltext_index -d /data/solrcloud/solr5.5_1/apache-atlas-conf -shards 2 -replicationFactor 2
    
    • 5. 集成kafka
    #编辑
    vim /data/atlas-1.0.0/distro/target/apache-atlas-1.0.0/conf/atlas-application.properties 
    
    #配置
    #########  Notification Configs  #########
    #默认true
    atlas.notification.embedded=false
    atlas.kafka.data=${sys:atlas.home}/data/kafka
    #配置kafka在zk目录位置
    atlas.kafka.zookeeper.connect=shb-l0120794:24002,shb-l0120795:24002,shb-l0120796:24002/kafka
    #配置kafka所在主机和端口
    atlas.kafka.bootstrap.servers=shb-l0120794:21005,shb-l0120795:21005,shb-l0120796:21005
    atlas.kafka.zookeeper.session.timeout.ms=400
    atlas.kafka.zookeeper.connection.timeout.ms=200
    atlas.kafka.zookeeper.sync.time.ms=20
    atlas.kafka.auto.commit.interval.ms=1000
    atlas.kafka.hook.group.id=atlas
    
    atlas.kafka.enable.auto.commit=false
    atlas.kafka.auto.offset.reset=earliest
    atlas.kafka.session.timeout.ms=30000
    atlas.kafka.offsets.topic.replication.factor=1
    atlas.kafka.poll.timeout.ms=1000
    
    atlas.notification.create.topics=true
    atlas.notification.replicas=1
    #如下topic会自动在kafka中被创建
    atlas.notification.topics=ATLAS_HOOK,ATLAS_ENTITIES
    atlas.notification.log.failed.messages=true
    atlas.notification.consumer.retry.interval=500
    atlas.notification.hook.retry.interval=1000
    
    • 6.配置hive hook
    •    6.1 配置atlas 扫描的集群名称
    #编辑
    vim /data/atlas-1.0.0/distro/target/apache-atlas-1.0.0/conf/atlas-application.properties 
    
    #配置  修改集群名称和华为大数据集成名称一致:非常重要
    atlas.cluster.name=hacluster
    •    6.2 配置hive所有的安装节点,在hive-site.xml中添加hook配置项
    <property>
    <name>hive.exec.post.hooks</name>
    <value>org.apache.atlas.hive.hook.HiveHook</value>
    </property>
    •    6.3 复制atlas-application.properties文件到hive安装目录下的/conf目录
    
    [root@SHB-L0120795 metastore]# cd /opt/huawei/Bigdata/FusionInsight_HD_V100R002C70SPC200/install/FusionInsight-Hive-1.3.0/hive-1.3.0/conf
    [root@SHB-L0120795 conf]# ll
    total 48
    -rw-r--r-- 1 root root  12313 Mar 19 20:58 atlas-application.properties
    -rw------- 1 omm  wheel  1139 Nov  8  2017 beeline-log4j.properties.template
    -rw------- 1 omm  wheel  3454 Nov  8  2017 gc-opts.sh
    -rw------- 1 omm  wheel  2662 Nov  8  2017 hive-exec-log4j.properties.template
    -rw------- 1 omm  wheel  3050 Nov  8  2017 hive-log4j.properties.template
    [root@SHB-L0120795 conf]# 
    • 7.  启动atlas服务

    执行命令bin/atlas_start.py启动atlas服务

    cd /data/atlas-1.0.0/distro/target/apache-atlas-1.0.0
    
    #启动
    bin/atlas_start.py

    http://IP:21000/login.jsp 登陆验证, 用户名:admin  密码:admin

     

     

    • 部分问题解决

    • 问题1. Failed to identify the fs of dir hdfs://hacluster/hbase/lib
    2020-03-19 20:04:18,742 WARN  - [main:] ~ Failed to identify the fs of dir hdfs://hacluster/hbase/lib, ignored (DynamicClassLoader:106)
    java.io.IOException: Couldn't create proxy provider null
    	at org.apache.hadoop.hdfs.NameNodeProxies.createFailoverProxyProvider(NameNodeProxies.java:515)

    解决方案:hdfs://hacluster名称 为华为大数据集群环境名,需要绑定到atlas中去

    #编辑
    vim /data/atlas-1.0.0/distro/target/apache-atlas-1.0.0/conf/atlas-application.properties 
    
    #配置  修改集群名称和华为大数据集成名称一致:非常重要
    atlas.cluster.name=hacluster

     

    • 问题2:BlackListingFailoverProxyProvider not found 
    Class org.apache.hadoop.hdfs.server.namenode.ha.BlackListingFailoverProxyProvider not found

    解决方案:webUI界面  服务管理 - HDFS - 服务配置 - 全部配置 :搜索:BlackListingFailoverProxyProvider  切换到

    org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider

     

    • 问题3:kafka配置错误;
    2020-03-19 20:04:27,835 ERROR - [main:] ~ Exception in getKafkaConsumer  (KafkaNotification:236)
    org.apache.kafka.common.KafkaException: Failed to construct kafka consumer
    	at org.apache.kafka.clients.consumer.KafkaConsumer.<init>(KafkaConsumer.java:781)

    解决方案:在zk的管理目录,注意kafka的层级结构

    #配置kafka在zk目录位置
    atlas.kafka.zookeeper.connect=shb-l0120794:24002,shb-l0120795:24002,shb-l0120796:24002/kafka

     

     

     

     

    展开全文
  • 本文为安装华为FusionInsight_HD 低配版(三台)安装实例,给小伙伴们参考; 本文选择三台机器安装,实际安装中发现,不能使用华为给的安装引导文件的(FusionInsight V100R002C70SPC200 配置规划工具) 如下几点...

    本文为安装华为FusionInsight_HD 低配版(三台)安装实例,给小伙伴们参考;

    本文选择三台机器安装,实际安装中发现,不能使用华为给的安装引导文件的(FusionInsight V100R002C70SPC200 配置规划工具 )


    如下几点非常重要,供参考

    1. 华为安装指导文档要求机器磁盘和内存非常大,但是低配置机器并不影响安装;

    2. 消耗内存非常大,每台机器内存基本消耗在20G左右;

    3. 实际在安装中并不需要按照华为要求使用oracle jdk;openjdk 一样好用,前提是必须将相应的依赖包补齐;

    4. 华为软件需要的依赖包非常多,请执行安装前的检查,本文第5步,可以提前执行;

    5. 进入web端后会自动化安装,请注意保持服务器密码一致

    6. redis集群无法通过Web端实现安装;

     

    • 安装:

    1.上传华为安装文件到主节点/opt目录

    [root@SHB-L0120794 redis-cluster]# cd /opt
    [root@SHB-L0120794 opt]# ll
    total 4543916
    lrwxrwxrwx  1 root root          16 Oct 24  2018 chef -> /opt/cloud/chef/
    d---------  4 root root        4096 Mar  2 14:30 client
    drwxr-xr-x 11 root root         140 Feb 24 11:16 cloud
    -rw-r--r--  1 root root   642730898 Feb 24 13:01 FusionInsight_Elk_V100R002C70SPC200_RHEL.tar.gz
    -rw-r--r--  1 root root   357649152 Feb 24 13:01 FusionInsight_Flink_V100R002C70SPC200_RHEL.tar.gz
    -rw-r--r--  1 root root   949994384 Feb 24 13:01 FusionInsight_HD_V100R002C70SPC200_RHEL.tar.gz
    drwxr-xr-x  3 omm  wheel         22 Feb 24 13:01 FusionInsight_Manager
    -rw-r--r--  1 root root   615185011 Feb 24 13:01 FusionInsight_Manager_V100R002C70SPC200_RHEL.tar.gz
    -rw-r--r--  1 root root  1288870719 Feb 24 13:01 FusionInsight_Porter_V100R002C70SPC200_RHEL.tar.gz
    drwxr-xr-x  9 omm  wheel        188 Feb 24 13:01 FusionInsight_SetupTool
    -rw-r--r--  1 root root      267594 Feb 24 13:01 FusionInsight_SetupTool_V100R002C70SPC200.tar.gz
    -rw-r--r--  1 root root   540351971 Feb 24 13:01 FusionInsight_Spark2x_V100R002C70SPC200_RHEL.tar.gz
    -rw-r--r--  1 root root   224148134 Feb 24 13:01 FusionInsight_Streaming_V100R002C70SPC200_RHEL.tar.gz

     

    2.解压FusionInsight_Manager文件:

    #解压
    tar -zxvf FusionInsight_Manager_V100R002C70SPC200_RHEL.tar.gz

     

    3.复制:将其他的所有.tar.gz包复制到FusionInsight_Manager文件夹下面:FusionInsight_SetupTool_V100R002C70SPC200.tar.gz除外

    #复制
    cp FusionInsight_HD_V100R002C70SPC200_RHEL.tar.gz /opt/FusionInsight_Manager/software/packs/

     

    4.上传FusionInsight_SetupTool_V100R002C70SPC200.tar.gz到其他两个节点;解压完成后执行如下命令

    #复制
    cp -r /opt/FusionInsight_SetupTool/preset /opt/preset
    #启动
    sh /opt/preset/preset.sh
    

    主节点需要执行如下两行命令:

    #授权
    chown omm: /opt/FusionInsight_Manager/ -R
    chown omm: /opt/FusionInsight_SetupTool -R
    

     

    5. 安装依赖包  所有节点都要执行 执行如下命令行:非常重要

    yum -y install ipmitool.x86_64 glibc.i686 json-c.x86_64 libestr.x86_64 libitm.x86_64 lsscsi.x86_64 m2crypto.x86_64 net-snmp-utils.x86_64 nscd.x86_64 nss_compat_ossl.x86_64 OpenIPMI.x86_64 openldap-clients.x86_64 openldap-servers.x86_64 procmail.x86_64 python-dmidecode.x86_64 python-gudev.x86_64 sdparm.x86_64 libitm lsscsi  m2crypto net-snmp-utils nscd nss_compat_ossl OpenIPMI procmail python-dmidecode python-gudev python-simplejson sdparm acpid.x86_64 at.x86_64 bc.x86_64 c-ares.x86_64 checkpolicy.x86_64 crash.x86_64 cups-client.x86_64 cvs.x86_64 cyrus-sasl-plain.x86_64 dos2unix.x86_64 ed.x86_64 gamin.x86_64 hdparm.x86_64 hesiod.x86_64 iptables-services.x86_64 ipvsadm.x86_64 libdhash.x86_64 libipa_hbac.x86_64 libldb.x86_64 libnl.x86_64 libsmbclient.x86_64 libsss_idmap.x86_64 libsss_autofs.x86_64 libsss_sudo.x86_64 libsss_nss_idmap.x86_64 libtar.x86_64 libtdb.x86_64 libusb.x86_64 libwbclient.x86_64 m4.x86_64 mlocate.x86_64 pax.x86_64 pm-utils.x86_64 portreserve.x86_64 pyOpenSSL.x86_64 pytalloc.x86_64 python-dateutil.noarch python-ethtool.x86_64 python-sssdconfig.noarch pytz.noarch redhat-lsb-core.x86_64 redhat-lsb-submod-security.x86_64 rng-tools.x86_64 samba-client-libs.x86_64 samba-common.noarch samba-common-libs.x86_64 samba-common-tools.x86_64 samba-libs.x86_64 spax.x86_64 sssd.x86_64 sssd-ad.x86_64 sssd-client.x86_64 sssd-common.x86_64 sssd-common-pac.x86_64 sssd-ipa.x86_64 sssd-krb5.x86_64 sssd-krb5-common.x86_64 sssd-ldap.x86_64 sssd-proxy.x86_64 system-config-firewall-base.noarch time.x86_64 traceroute.x86_64 tzdata-java.noarch usermode.x86_64 libitm lsscsi  m2crypto net-snmp-utils nscd nss_compat_ossl OpenIPMI procmail python-dmidecode python-gudev  tcl-devel  expect attr.x86_64 bridge-utils.x86_64 cyrus-sasl.x86_64 gdbm-devel.x86_64 jbigkit-libs.x86_64 libcgroup.x86_64 libdb-devel.x86_64 libreport-filesystem.x86_64 libtiff.x86_64 mdadm.x86_64 net-snmp.x86_64 net-snmp-agent-libs.x86_64 numactl.x86_64 numad.x86_64 oddjob.x86_64 oddjob-mkhomedir.x86_64 pam_krb5.x86_64 perl-Compress-Raw-Bzip2.x86_64 perl-Compress-Raw-Zlib.x86_64 perl-DBI.x86_64 perl-ExtUtils-Install.noarch perl-ExtUtils-MakeMaker.noarch perl-ExtUtils-Manifest.noarch perl-ExtUtils-ParseXS.noarch perl-IO-Compress.noarch perl-Net-Daemon.noarch perl-PlRPC.noarch perl-Test-Harness.noarch perl-devel.x86_64 perl-version.x86_64 pyparsing.noarch smartmontools.x86_64 systemtap-sdt-devel.x86_64

    #华为整理的需要添加的依赖包位置如下,供参考;使用如下地址中的依赖包,系统会被升级,问题很严重!!!

    #华为整理的需要添加的依赖包位置
    FusionInsight_SetupTool_V100R002C70SPC200.tar\FusionInsight_SetupTool_V100R002C70SPC200\FusionInsight_SetupTool\preinstall\script\function\add_packages\conf

    也可以通过precheck命令检查,补全依赖包

    #进入目录
    cd /opt/FusionInsight_SetupTool
    #执行依赖包检查命令
    ./setuptool.sh precheck
    

    其他依赖包(所有节点都要安装):

    1.ldap:

    #安装
    yum -y install openldap openldap-servers openldap-clients
    
    cp /usr/share/openldap-servers/DB_CONFIG.example /var/lib/ldap/DB_CONFIG
    
    chown ldap:ldap /var/lib/ldap/DB_CONFIG
    
    #启动
    systemctl start slapd 
    
    systemctl enable slapd
    
    #查看状态
    systemctl status slapd
    

    2. tcl-devel和expect

    yum -y install tcl-devel  expect

    3.ipmitool

    #安装:
    yum install ipmitool -y
     
    #检查:
    rpm -qa |grep ipmi
     
    #检查模块:
    lsmod  | grep ipmi
     
     
    #加载模块:
     
    modprobe ipmi_watchdog
    modprobe ipmi_poweroff
    modprobe ipmi_devintf
    modprobe ipmi_si   
    #报错:FATAL: Module ipmi_si not found.
     
    modprobe ipmi_msghandler
    #报错:FATAL: Module ipmi_msghandler not found.
     

     

     

     

    6.安装 执行如下安装命令: 一共有6步,请耐心等待; 中间如果遇到报错,请按提示信息放心大胆卸载;

    sh /opt/FusionInsight_Manager/software/install.sh -m single

    第6步完成之后,会有一个登陆首页的跳转地址:http://主机ip:8080/web/

     

    7.设置Internet Explorer浏览器中的: Internet选项  》》 高级 》》取消勾选:“使用TLS1.0”

        该步骤非常重要,不然首页无法进入!!!

     

    8.登陆:用户admin,默认密码Admin@123;首次登陆需要修改密码

     

    9. 选择默认安装:手工安装,模板不合适

     

    10.为避免问题过多,首次安装,切勿贪多;请使用默认DBService和Metadata两个组件安装;

         其他组件待安装完成后,以添加服务的形式安装;

     

    因网络问题,无法上传截图;请参考其他安装文档:

    https://blog.csdn.net/weixin_37987487/article/details/81632176

     

     

    • 报错问题解决:

    问题1. 集群部署配置系统环境失败,其他数据节点全部报错:Operation failure for Nodeagent# XX.XX.XX.XX@CD-BigDataDNX.

    解决方案: 执行如下命令删除所有除管理节点外其他数据节点的omm用户以及目录

    pkill -u omm
    
    userdel -f omm
    
    rm -rf /home/omm
    

     

    问题2.  Ldapclient安装失败

    报错信息:

    [2020-03-12 11:58:13]RoleInstance initialization failure [{ScriptExecutionResult=ScriptExecutionResult [exitCode=1, output=, errMsg=]}] for SlapdClient#30.4.21.1@SHB-L012071.
    [2020-03-12 11:58:13]Role initialization failure for ServiceName: LdapClient.
    [2020-03-12 11:58:13]Service initialization failure for CLUSTER[name: huawei].

    日志报错信息: /bin/systemctl restart  sssd.service 重启失败

    [2020-03-12 00:45:48] ERROR: [ldapclient_install.sh:665]: SlapdClient  SHB-L012071  restart sssd failed!
    Redirecting to /bin/systemctl restart  crond.service
    Redirecting to /bin/systemctl restart  crond.service
    2020-03-12 00:45:49 749 SHB-L0120794 SlapdClient INFO cron restart success! 
    2020-03-12 00:45:49 790 SHB-L0120794 SlapdClient INFO sssd monitor  already stopped! 
    Redirecting to /bin/systemctl stop  nscd.service
    Redirecting to /bin/systemctl stop  sssd.service
    SSSD is already running
    [2020-03-12 00:45:50] ERROR: [ldapclient_install.sh:971]: SlapdClient  SHB-L012071  Install rpm or generate config files failed.

    解决方案:先停止LADP的服务,再删除sssd.pid文件

    # 1. 添加文件
    cd /etc/sssd
    touch sssd.conf
    
    
    # 2. 停止LDAP服务
    #停服务
    systemctl stop slapd 
    #服务生效
    systemctl enable slapd
    #查看状态
    systemctl status slapd
    
    
    # 3. 删除sssd.pid
    rm –rf /var/run/sssd.pid -y
    
    
    
    
    
    # 4. 停止LDAP服务日志信息
    [root@SHB-L0120796 sssd]# systemctl stop slapd
    [root@SHB-L0120796 sssd]# systemctl enable slapd
    [root@SHB-L0120796 sssd]# systemctl status slapd
    ● slapd.service - OpenLDAP Server Daemon
       Loaded: loaded (/usr/lib/systemd/system/slapd.service; enabled; vendor preset: disabled)
       Active: inactive (dead) since Thu 2020-03-12 12:05:32 CST; 10s ago
         Docs: man:slapd
               man:slapd-config
               man:slapd-hdb
               man:slapd-mdb
               file:///usr/share/doc/openldap-servers/guide.html
     Main PID: 10829 (code=exited, status=0/SUCCESS)
    
    Mar 12 11:59:47 SHB-L012071 runuser[10823]: pam_unix(runuser:session): session opened for user ldap by (uid=0)
    Mar 12 11:59:47 SHB-L012071 runuser[10823]: pam_unix(runuser:session): session closed for user ldap
    Mar 12 11:59:47 SHB-L012071 slapd[10828]: @(#) $OpenLDAP: slapd 2.4.44 (Jan 29 2019 17:42:45) $
                                                       mockbuild@x86-01.bsys.centos.org:/builddir/build/BUILD/o...slapd
    Mar 12 11:59:48 SHB-L012071 slapd[10829]: slapd starting
    Mar 12 11:59:48 SHB-L012071 systemd[1]: Started OpenLDAP Server Daemon.
    Mar 12 12:05:32 SHB-L012071 systemd[1]: Stopping OpenLDAP Server Daemon...
    Mar 12 12:05:32 SHB-L012071 slapd[10829]: daemon: shutdown requested and initiated.
    Mar 12 12:05:32 SHB-L012071 slapd[10829]: slapd shutdown: waiting for 0 operations/tasks to finish
    Mar 12 12:05:32 SHB-L012071 slapd[10829]: slapd stopped.
    Mar 12 12:05:32 SHB-L012071 systemd[1]: Stopped OpenLDAP Server Daemon.
    
    
    

     

    问题3. LdapClient 安装失败 

    报错信息:Failed to install HA. (main)

    [2020-03-12 12:44:41] INFO [postinstall.sh:457] Start install HA. (installHA)
    [2020-03-12 12:44:41] INFO [postinstall.sh:458] g_dbSoftPath:/opt/huawei/Bigdata/FusionInsight_BASE_V100R002C70SPC200/install/FusionInsight-dbservice-2.7.0/package,HA_PACKAGE_PATTERN:HA-*.tar.gz (installHA)
    [2020-03-12 12:44:41] INFO [postinstall.sh:465] HA packageName is : HA-1.1.8.9-RHEL6.4-x86-64. (installHA)
    [2020-03-12 12:44:41] ERROR [postinstall.sh:477] Failed to install ha. cmd is:/opt/huawei/Bigdata/FusionInsight_BASE_V100R002C70SPC200/install/FusionInsight-dbservice-2.7.0/package/HA-1.1.8.9-RHEL6.4-x86-64/install.sh -p /opt/huawei/Bigdata/FusionInsight_BASE_V100R002C70SPC200/install/FusionInsight-dbservice-2.7.0 -u omm -g wheel (installHA)
    [2020-03-12 12:44:41] ERROR [postinstall.sh:670] Failed to install HA. (main)

    解决方案:更新FusionInsight_Manager文件夹中的HA文件,默认路径为:/opt/huawei/Bigdata

    
    #执行以下命令解压文件 
    cd /opt/FusionInsight_Manager/software/om/package/
    
    #解压文件
    tar -xzf om.tar.gz
    
    tar -xf om/omm/OMS-V100R001C00.x86_64.tar -C om/omm
    
    #b.解压HA压缩文件
    tar -xzf om/omm/OMS-V100R001C00.x86_64/package/software/HA-1.1.8.9-RHEL6.4-x86-64.tar.gz -C om/omm/OMS-V100R001C00.x86_64/package/software/
    
    #使用更新文件,替换HA压缩文件解压后的文件  
    cp -arp /opt/huawei/Bigdata/ha.bin om/omm/OMS-V100R001C00.x86_64/package/software/HA-1.1.8.9-RHEL6.4-x86-64/software/module/hacom/bin
    
    #/opt/huawei/Bigdata/ha.bin文件不存在就创建
    touch /opt/huawei/Bigdata/ha.bin
    
    
    #执行
    cd om/omm/OMS-V100R001C00.x86_64/package/software/
    
    #将替换后的HA文件全部重新压缩。 
    tar -czf HA-1.1.8.9-RHEL6.4-x86-64.tar.gz HA-1.1.8.9-RHEL6.4-x86-64
    
    #删除临时文件
    rm -rf HA-1.1.8.9-RHEL6.4-x86-64
    

    问题4:ERROR:The database is not running

    报错信息:

    [2020-03-11 17:28:29] INFO Succeed to install oms. [install.sh(install_oms):1242](12124)
    [2020-03-11 17:28:29] DEBUG Check whether db is running. [install.sh(is_db_running):2054](12124)
    [2020-03-11 17:28:29] ERROR The database is not running. [install.sh(is_db_running):2058](12124)
    ERROR:The database is not running.
    [2020-03-11 17:28:29] ERROR Installation failed. For details about the error, see the log file /var/log/Bigdata/controller/scriptlog/install.log. [install.sh(post_install):500](708)
    

    解决方案:(无解)

    重装centos系统

    问题5:首次登陆,无法修改密码的错误

    解决方案:

    启动ldap服务

    yum -y install openldap openldap-servers openldap-clients
    
    cp /usr/share/openldap-servers/DB_CONFIG.example /var/lib/ldap/DB_CONFIG
    chown ldap:ldap /var/lib/ldap/DB_CONFIG
    
    #首次安装修改密码错误的情况下启动ldap服务
    systemctl start slapd 
    systemctl enable slapd
    systemctl status slapd
    

    问题6:操作失败。

    重试创建集群失败。详细错误信息如下:Failed to complete setting up of newly allocated 2 node(s) with agent/JDK.

    报错信息:

    [2020-03-11 20:51:10]Begin to install nodeagent.
    [2020-03-11 20:51:58]Operation success for Nodeagent#30.4.21.17@SHB-L012071.
    [2020-03-11 20:52:47]Operation failure for Nodeagent#30.4.21.14@SHB-L012072.
    [2020-03-11 20:52:58]Operation failure for Nodeagent#30.4.21.11@SHB-L012073.
    [2020-03-11 20:52:58]Begin to update hosts file.
    [2020-03-11 20:53:04]Update hosts file complete.
    [2020-03-11 20:53:04]Failed to install nodeagent.

    解决方案:卸载服务

    #执行以下脚本卸载agent。
    
    ${BIGDATA_HOME}/om-agent/nodeagent/setup/uninstall.sh
    
    #omm密码:Bigdata123@

    问题7:dbservice 的HA安装失败

    报错信息:

    [2020-03-12 13:16:04] INFO [postinstall.sh:465] HA packageName is : HA-1.1.8.9-RHEL6.4-x86-64. (installHA)
    [2020-03-12 13:16:05] ERROR [postinstall.sh:477] Failed to install ha. cmd is:/opt/huawei/Bigdata/FusionInsight_BASE_V100R002C70SPC200/install/FusionInsight-dbservice-2.7.0/package/HA-1.1.8.9-RHEL6.4-x86-64/install.sh -p /opt/huawei/Bigdata/FusionInsight_BASE_V100R002C70SPC200/install/FusionInsight-dbservice-2.7.0 -u omm -g wheel (installHA)
    [2020-03-12 13:16:05] ERROR [postinstall.sh:670] Failed to install HA. (main)

    解决方案:更新dbservice 的HA

    # 执行以下命令切换到目录
    cd /opt/FusionInsight_Manager/software/packs/
    
    # 解压安装文件。
    tar -xzf FusionInsight_BASE/software/components/package/FusionInsight-dbservice-2.7.0.tar.gz -C FusionInsight_BASE/software/components/package/
    
    # 解压HA压缩文件
    tar -zxf FusionInsight_BASE/software/components/package/package/HA-1.1.8.9-RHEL6.4-x86-64.tar.gz -C FusionInsight_BASE/software/components/package/package
    
    # 替换HA压缩文件解压后的文件
    cp -arp /opt/huawei/Bigdata/ha.bin FusionInsight_BASE/software/components/package/package/HA-1.1.8.9-RHEL6.4-x86-64/software/module/hacom/bin/
    
    # 执行
    cd FusionInsight_BASE/software/components/package/package
    
    # 替换后的HA文件全部重新压缩。
    rm -rf HA-1.1.8.9-RHEL6.4-x86-64
    
    # 执行 
      cd ../
    
    # 然后将替换后的DBService文件全部重新压缩,并删除临时文件
    tar -zcf FusionInsight-dbservice-2.7.0.tar.gz adapter package sbin security setup share tools
    
    # 删除解压后的文件
    rm -rf adapter package sbin security setup share tools
    
    # 执行
      cd /opt/FusionInsight_Manager/software/packs/
    
    # 将替换后的基础包文件全部重新压缩,并删除临时文件。
      tar -zcf FusionInsight_BASE_V100R002C70SPC200_RHEL.tar.gz FusionInsight_BASE
    
    # 删除解压后的文件
      rm -rf FusionInsight_BASE
    
    

     

    展开全文
  • 华为大数据平台技术白皮书,干活
  • 5月26日,在贵阳举行的中国国际大数据产业博览会2018(简称“数博会”)上,华为FusionInsight LibrA融合数据仓库解决方案(简称LibrA)荣获领先科技成果奖。凭借先进的架构、创新的弹性集群特性以及广泛的行业成功...

    5月26日,在贵阳举行的中国国际大数据产业博览会2018(简称“数博会”)上,华为FusionInsight LibrA融合数据仓库解决方案(简称LibrA)荣获领先科技成果奖。凭借先进的架构、创新的弹性集群特性以及广泛的行业成功实践等,华为LibrA在产品类项目中以性能很优异的成绩脱颖而出,赢得业界权威大数据专家的一致认可。

    作为全球大数据发展的风向标和业界国际性、权威性的平台,数博会汇聚和展示了业界领先的科技成果,并从中评选中最能代表大数据领域的先进产品和技术。华为LibrA在产品类项目的评选中,因其良好的扩展性、高交互分析性能和万亿级复杂查询秒级响应的极速体验等特性从角逐中胜出。

    华为LibrA是一款企业级数据仓库解决方案,可汇聚和实时分析各行业PB级海量大数据,具备高性能、高可靠、高扩展、高安全以及兼容标准ANSI SQL 99/2003和PostgreSQL生态等特性。与传统的数据库相比,LibrA运行在通用x86服务器上,其良好的扩展性,可以解决行业用户的数据处理性能不足的问题,并为超大规模数据管理提供高性价比的通用计算平台,从而支撑各类数据仓库系统、BI(商业智能)系统和决策支持系统,统一为上层应用的决策分析等提供服务。

    从2012年开始,华为开始基于大数据场景设计LibrA的产品架构。它采用MPP(大规模并行处理)和无共享架构,当数据量呈现爆发式增长时,系统的高扩展性可实现在线扩容但业务不中断、平滑迁移。目前,LibrA已广泛应用于金融、平安城市、运营商、能源、电力、电商等领域,并得到中国工商银行、中国太平洋保险集团、中国石油、青海电力、辽宁移动等客户的认可。

    华为FusionInsight LibrA融合数仓荣获2018数博会领先科技成果奖

    根据Gartner 和IDC 报告显示,华为FusionInsight大数据解决方案在2018年的Gartner分析型数据管理解决方案魔力四象限中处于入围中国厂商的领先位置,同时被IDC评为2017年中国大数据MarketScape领导者象限第一。截至目前,华为FusionInsight大数据解决方案已经赢得全球55个国家、1000多个客户的信赖,拥有300多家商业合作伙伴。

    2018中国国际大数据产业博览会与华为一同预见未来:

    5月27日,贵阳国际生态会议中心2F会议室“数字中国:新时代 新动能 新体制”论坛

    5月28日,贵阳国际会议展览中心综合厅A华为云论坛

    5月26日-29日,贵阳国际会议展览中心 1号馆 1301华为展区邀您相约

    展开全文
  • 使用FusionInsight Manager上的sparkstreaming消费kafka数据到hive 编写 修改FusionInsight client的spark2中的demo进行流程测试 修改maven中的依赖,将所有的dependency增加<scope>provided</scope>,...
  • 华为FusionInsight LibrA融合数据仓库

    千次阅读 2018-06-20 07:31:18
    华为LibrA是一款企业级数据仓库解决方案,可汇聚和实时分析各行业PB级海量大数据,具备高性能、高可靠、高扩展、高安全以及兼容标准ANSI SQL 99/2003和PostgreSQL生态等特性。关键信息时PostgreSQL。有的国产MPP...
  • 华为大数据kafka操作web界面创建角色、用户。用户管理角色进入服务器环境,进入客户端目录/opt/hadoopclient,导入环境变量source bigdata_env。切换用户kinit kafka用户(kafka_test) 查看当前集群Topic列表。 ...
  • 此方式是通过kerberos认证方式去访问华为FI,需准备好krb5.conf和keyTab两个认证文件。 详细情况可以访问华为官方文档:[https://support.huawei.com/hedex/hdx.do?docid=EDOC1100094387&lang=zh&idPath=...
  • 因此这里介绍一下快速获得CDH、CDP以及 FusionInsight HD包含的组件的版本号的方法。 CDH 检查当前使用的CDH版本 1、登录Cloudera Manager 2、在界面右上角,点击“支持”,在下拉菜单中,点击“关于”,查看CDH...
  • 千万使用FusionInsight Manager界面下载下来的java example改造成自己的代码,必须保留kafka_2.11和kafka_clients包,因为这2个包更改了太多东西 kafka_clients-0.11.0.1.jar和开源的对比,差异文件如下: kafka...

空空如也

空空如也

1 2 3 4 5 ... 8
收藏数 144
精华内容 57
关键字:

华为fusioninsight