精华内容
下载资源
问答
  • Doris安装部署

    2021-07-31 10:45:33
    doris安装部署及各种load方式 安装部署 1.下载Doris的安装包 cd /opt wget https://dist.apache.org/repos/dist/dev/incubator/doris/0.12.0-rc03/apache-doris-0.12. 0-incubating-src.tar.gz 解压安装 tar -...

    此文档是笔记方式,没有详细整理,仅供参考,目前社区版本是0.14.0,百度预编译发布版本是0.14.12.4

    doris安装部署及各种load方式

    安装部署

    1.下载Doris的安装包
    cd /opt
    wget https://dist.apache.org/repos/dist/dev/incubator/doris/0.12.0-rc03/apache-doris-0.12.
    0-incubating-src.tar.gz
    解压安装
    tar -zxvf apache-doris-0.12.0-incubating-src.tar.gz
    cd apache-doris-0.12.0-incubating-src
    sh build.sh
    
    2.配置该节点的FE(Leader)
    cd output/fe
    mkdir doris-meta
    mkdir log
    sh bin/start_fe.sh --daemon
    运行之后检查一下,是否有doris的进行,监听的端口,日志信息等等
    vi log/fe.log
    
    3.配置BE
    cd output/be
    mkdir storage
    mkdir log
    
    4.分发到所有需要安装的BE节点 scp -r output/be root@主机名:/
    
    5.安装mysql客户端
    1,从官网下载安装包(在Centos7上要下载 RH Linux 7 的安装包)
    https://dev.mysql.com/downloads/mysql/
    mysql-8.0.17-1.el7.x86_64.rpm-bundle.tar
    2,清理环境
    2.1 查看系统是否已经安装了mysql数据库
    rpm -qa | grep mysql
    2.2 将查询出的文件逐个删除,如
    yum remove mysql-community-common-5.7.20-1.el6.x86_64
    2.3 删除mysql的配置文件
    find / -name mysql
    2.4 删除配置文件
    rm -rf /var/lib/mysql
    2.5删除MariaDB文件
    rpm -pa | grep mariadb
    删除查找出的相关文件和目录,如
    yum -y remove mariadb-libs.x86_64
    3,安装
    3.1解压
    tar -xf mysql-8.0.17-1.el7.x86_64.rpm-bundle.tar
    3.2安装
    yum install mysql-community-{client,common,devel,embedded,libs,server}-*
    等待安装成功!
    4,配置
    4.1 启动mysqld服务,并设为开机自动启动。命令:
    systemctl start mysqld.service //这是centos7的命令
    systemctl enable mysqld.service
    4.2 通过如下命令可以在日志文件中找出密码:
    grep "password" /var/log/mysqld.log
    4.3按照日志文件中的密码,进入数据库
    mysql -uroot -p
    4.4设置密码(注意Mysql8密码设置规则必须是大小写字母+特殊符号+数字的类型)
    ALTER USER 'root'@'localhost' IDENTIFIED BY 'new password';
    
    6.远程连接doris服务
    mysql -uroot -h 172.22.197.72 -P 9030
    
    7.添加所有BE
    ALTER SYSTEM ADD BACKEND "172.22.197.73:9050";
    ALTER SYSTEM ADD BACKEND "172.22.197.74:9050";
    ALTER SYSTEM ADD BACKEND "172.22.197.75:9050";
    ALTER SYSTEM ADD BACKEND "172.22.197.76:9050";
    ALTER SYSTEM ADD BACKEND "172.22.197.77:9050";
    ALTER SYSTEM ADD BACKEND "172.22.197.78:9050";
    ALTER SYSTEM ADD BACKEND "172.22.197.79:9050";
    ALTER SYSTEM ADD BACKEND "172.22.197.80:9050";
    ALTER SYSTEM ADD BACKEND "172.22.197.81:9050";
    #删除BE节点,数据会同步到其他节点
    ALTER SYSTEM DECOMMISSION BACKEND "172.22.197.73:9050";
    #删除BE节点,该节点数据直接删除
    ALTER SYSTEM DECOMMISSION BACKEND "172.22.197.73:9050";
    
    8.启动BE节点
    sh bin/start-be.sh --daemon
    
    9.ui界面查看是否添加进来
    http://172.22.197.72:8030/system?path=//backends
    
    10.添加brokername
    ALTER SYSTEM ADD BROKER broker_name01 "test-pro-doris-01:8000";
    #删除
    ALTER SYSTEM DROP BROKER broker_name "test-pro-doris-01:8000";
    11.ui界面查看是否添加成功
    http://172.22.197.72:8030/system?path=//brokers

    doris ODBC load

    1.在线安装MYSQL ODBC驱动

     yum -y install unixODBC
     yum -y install mysql-connector-odbc
     ​
     遇到问题:yum -y install mysql-connector-odbc 安装不成功
     ​
     解决方法:下载jar mysql-connector-odbc-8.0.11-1.el7.x86_64.rpm进行本地安装
     ​
     yum localinstall mysql-connector-odbc-8.0.11-1.el7.x86_64.rpm

    2.配置Mysql驱动

     cat /etc/odbc.ini #添加如下信息
     /************************************************
     [mysql-hr]
     Driver = /usr/lib64/libmyodbc8a.so #注意驱动程序的选择
     Description = MyODBC 5 Driver 
     SERVER = 192.168.235.140    #要连接的数据库信息
     PORT = 3306
     USER = root
     Password = root
     Database = hr
     OPTION = 3
     charset=UTF8

    3.测试连接

     # isql mysql-hr test root password -v ##语法:isql 数据源名称 用户名 密码 选项
     +---------------------------------------+
     | Connected! |
     | |password
     | sql-statement |
     | help [tablename] |
     | quit |
     | |
     +---------------------------------------+
     SQL>show database;
     测试成功

    4.配置FE

     vim /doris-0.13.11/output/be/conf/fe.conf
     enable_odbc_table = true  必配项

    5.配置BE(所有BE节点都需要配置)

     vim /doris-0.13.11/output/be/conf/odbcinst.ini 添加
     [MySQL Driver]
     Description     = ODBC for MySQL
     Driver          = /usr/lib/libmyodbc8a.so
     FileUsage       = 1
     说明:driver ODBC安装的目录

    6.测试ODBC on doris

     推荐方式:
     ​
     ##### 1.通过ODBC_Resource来创建ODBC外表
     CREATE EXTERNAL RESOURCE `mysql_odbc_doris`
     PROPERTIES (
     "type" = "odbc_catalog",
     "host" = "172.22.193.65",
     "port" = "3306",
     "user" = "root",
     "password" = "password",
     "database" = "posresult",
     "odbc_type" = "mysql",
     "driver" = "MySQL Driver"
     );
     说明:
          host需要连接的数据库ip(映射库的ip)
          port端口
          user用户名
          password密码
          database数据库
          odbc_type:mysql(支持oracle, mysql, postgresql)
          driver:ODBC外表的Driver名,该名字需要和be/conf/odbcinst.ini中的Driver名一致
     #####2.创建DORIS外部表映射MYSQL表
     CREATE EXTERNAL TABLE `test_mysql` (
       `id` varchar(32) NOT NULL COMMENT 'ID',
       `table_bill_id` varchar(36) DEFAULT NULL COMMENT '菜单编号',
       `shop_id` varchar(32) DEFAULT NULL COMMENT '门店ID',
       `dish_type` int(11) DEFAULT NULL COMMENT '类型 : 1-菜品 2-火锅 3-底料',
       `dish_id` varchar(50) DEFAULT NULL COMMENT '菜品ID(此处为菜品ID,不是菜品关联ID)',
       `dish_name` varchar(100) DEFAULT NULL COMMENT '菜品名称',
       `standard_id` varchar(32) DEFAULT NULL COMMENT '规格编码',
       `standard_code` varchar(100) DEFAULT NULL COMMENT '规格ID',
       `dish_price` varchar(16) DEFAULT NULL COMMENT '菜品单价',
       `served_quantity` int(11) DEFAULT NULL COMMENT '已上数量',
       `order_time` varchar(50) DEFAULT NULL COMMENT '点菜时间',
       `dish_abnormal_status` varchar(20) DEFAULT NULL COMMENT '[A]菜品异常状态',
       `ts` varchar(20) DEFAULT NULL COMMENT 'POS订单创建时间',
       `taste_type_id` varchar(32) DEFAULT NULL,
       `taste_name` varchar(50) DEFAULT NULL
     ) ENGINE=ODBC
     COMMENT "ODBC"
     PROPERTIES (
     "odbc_catalog_resource" = "mysql_odbc_doris_test",
     "database" = "posresult",
     "table" = "t_pro_dish_list_detail"
     );
     说明:
     odbc_catalog_resource 创建的Resource名称
     database 外表数据库数据库名称
     table 外表数据库表名
     #####3.执行DDL操作是否插入成功
     selct * from test_mysql

    7.常见错误

     1.出现错误:(10001 NOT ALIVE,10002 NOT ALIVE)
     原因:编译doris的时候没有带WITH_MYSQL,Mysql_Odbc需要8.x,如果采用5.x会出现上面错误,切换版本到8.X
          编译如果带WITH_MYSQL,可以采用5.x版本
    展开全文
  • doris安装部署

    千次阅读 2019-04-15 20:35:31
    单 FE 部署 编译doris,或者由此下载 ...安装位置: /opt/doris-0.9.0 配置文件 (需要创建 palo-meta文件夹) cd fe mkdir palo-meta 1) Fe.conf meta_dir = ${DORIS_HOME}/palo-meta htt...

    单 FE 部署

    编译doris,或者由此下载 https://github.com/baidu-doris/incubator-doris/releases
    安装位置:
    /opt/doris-0.9.0

    配置文件

    (需要创建 palo-meta文件夹)
    cd fe
    mkdir palo-meta
    1) Fe.conf

    meta_dir = ${DORIS_HOME}/palo-meta

    http_port = 18030
    rpc_port = 9020
    query_port = 9030
    edit_log_port = 9010

    2) be.conf

    be_port = 9060
    be_rpc_port = 9070
    webserver_port = 18040
    heartbeat_service_port = 9050
    brpc_port = 18060

    storage_root_path = /data1/be/data;/data2/be/data;/data3/be/data;/data4/be/data;/data5/be/data;/data6/be/data;/data7/be/data;/data8/be/data;/data9/be/data;/data10/be/data;/data11/be/data;/data12/be/data

    3) 创建目录

    mkdir -p /data1/be/data /data2/be/data /data3/be/data /data4/be/data /data5/be/data /data6/be/data /data7/be/data /data8/be/data /data9/be/data /data10/be/data /data11/be/data /data12/be/data

    启动fe

    cd /opt/doris-0.9.0/fe
    sh bin/start_fe.sh

    连接fe

    mysql -h host -P 9030 -uroot

    添加be

    ALTER SYSTEM ADD BACKEND “host1:9050”;
    ALTER SYSTEM ADD BACKEND “host2:9050”;
    ALTER SYSTEM ADD BACKEND “host3:9050”;
    (
    如果使用多租户功能,则执行以下命令添加BE:
    ALTER SYSTEM ADD FREE BACKEND “host:port”;
    )

    启动be

    cd /opt/doris-0.9.0/be
    sh bin/start_be.sh

    显示fe与be状态

    show proc ‘/frontends’;
    show proc ‘/backends’;

    fe高可用部署

    1,修改配置文件,参看前面

    2,添加fe

    mysql -h host -P 9030 -uroot
    添加 follower 或 observer。
    使用 mysql-client 连接到已启动的 FE,并执行:
    ALTER SYSTEM ADD FOLLOWER “host:port”;

    ALTER SYSTEM ADD OBSERVER “host:port”;
    其中 host 为 follower 或 observer 所在节点 ip;port 为其配置文件fe.conf中的 edit_log_port。

    3,首次启动

    cd /opt/doris-0.9.0/fe
    sh bin/start_fe.sh -helper host:port

    其中host为 Leader 所在节点 ip;port 为 Leader 的配置文件 fe.conf 中的 edit_log_port。-helper 参数仅在 follower 和 observer 第一次启动时才需要。
    此时可以查看一下fe的状态;
    show proc ‘/frontends’;

    展开全文
  • Apache Doris安装测试

    2021-05-06 18:05:27
    1.下载编译好的二进制...2.解压:tai -axvf DORIS-0.14.7-release-binary.tar.gz 3.配置 FE 配置文件为 conf/fe.conf fe.conf 中 JAVA_OPTS 默认 java 最大堆内存为 4GB,建议生产环境调整至 8G 以上。 4.在FE目录下

    1.下载编译好的二进制文件
    wget https://palo-cloud-repo-bd.bd.bcebos.com/baidu-doris-release/DORIS-0.14.7-release-binary.tar.gz
    2.解压:tai -axvf DORIS-0.14.7-release-binary.tar.gz
    3.配置 FE
    配置文件为 conf/fe.conf
    fe.conf 中 JAVA_OPTS 默认 java 最大堆内存为 4GB,建议生产环境调整至 8G 以上。
    4.在FE目录下创建文件夹doris-meta
    cd /data/doris/fe
    mkdir doris-meta
    5.启动FE
    sh bin/start_fe.sh --daemon
    6.查看日志
    /data/doris/fe/log/fe.log
    默认占用端口 :8030
    jps命令查看进程:
    3662 PaloFe
    7.登录FE 添加BE host 为 FE 所在节点 ip 端口号为 fe/conf/fe.conf 中的 query_port 默认使用 root 账户,无密码登录
    mysql -h 127.0.0.1 -P 9030 -u root
    8.登录后,执行以下命令来添加BE:
    ALTER SYSTEM ADD BACKEND “10.10.80.39:9050”;
    其中 host 为 BE 所在节点 ip;port 为 be/conf/be.conf 中的 heartbeat_service_port。
    9.创建BE目录下的所需文件夹
    mkdir storage
    10.启动 BE
    sh bin/start_be.sh --daemon
    11.确认:
    使用 mysql-client 连接到 FE,并执行 SHOW PROC ‘/backends’; 查看 BE 运行情况。如一切正常,isAlive 列应为 true。
    [root@master2 be]# mysql -h 127.0.0.1 -P 9030 -u root
    mysql> SHOW PROC ‘/backends’\G

    12启动broker
    [mysql_admin@changxing1 /data/user/mysql_admin]$ sh startbroker.sh
    在FE中添加
    ALTER SYSTEM ADD BROKER broker1 “192.168.198.61:8000”;
    确认:
    mysql> SHOW PROC “/brokers”\G

    参考文档:
    http://doris.apache.org/master/zh-CN/downloads/downloads.html

    http://doris.apache.org/master/zh-CN/getting-started/basic-usage.html

    https://www.kancloud.cn/dorisdb/dorisdb/2178813

    https://cloud.baidu.com/doc/PALO/s/Ikivhcwb5#docker-%E7%BC%96%E8%AF%91%E7%8E%AF%E5%A2%83%E9%95%9C%E5%83%8F%E4%B8%8B%E8%BD%BD

    安装脚本参考:

    #!/bin/bash
    basedir=/data/user/mysql_admin
    db_data1=`cat $basedir/host.txt`
    host=($db_data1)
    num=${#host[@]}
    i=0
    while (($num>0))
    do
            echo  ${host[$i]} 
            #添加用户doris
            #ssh ${host[$i]} "sudo useradd doris"   
    
            #传输软件包到各个服务器
            #scp /data/user/mysql_admin/DORIS-0.14.7-release-binary.tar.gz ${host[$i]}:/tmp/
            #scp /data/user/mysql_admin/jdk-8u144-linux-x64.tar.gz  ${host[$i]}:/tmp/
    
            #安装java1.8
            #ssh ${host[$i]} "sudo mkdir /usr/local/java"
            #ssh ${host[$i]} "cd /tmp/ ;sudo tar zxf /tmp/jdk-8u144-linux-x64.tar.gz;sudo mv /tmp/jdk1.8.0_144/ /usr/local/java/ ;"
    
            #配置环境变量 
            #ssh ${host[$i]} "sudo su - doris -c  \" echo 'export PATH=$PATH:/usr/local/java/jdk1.8.0_144/bin'>>  /home/doris/.bashrc\" "
            #ssh ${host[$i]} "sudo su - doris -c  \" echo 'export JAVA_HOME=/usr/local/java/jdk1.8.0_144/'>>  /home/doris/.bashrc \"  "
            #ssh ${host[$i]} "sudo su - doris -c  \"  echo 'CLASSPATH=.:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar'>>  /home/doris/.bashrc \" "
            #ssh ${host[$i]} "sudo su - doris -c  \"source  /home/doris/.bashrc \"  "
            #ssh ${host[$i]} "sudo su - doris -c  \"java -version\" " 
    
            #创建doris目录 解压软件包
            #ssh ${host[$i]} "sudo mkdir /data/doris/"
            #ssh ${host[$i]} "sudo tar -axvf /tmp/DORIS-0.14.7-release-binary.tar.gz -C /data/doris/"
    
            #安装mysql客户端
            #ssh ${host[$i]} "sudo yum -y  install mysql-client"
    
            #创建FE使用目录
            #ssh ${host[$i]} "sudo mkdir -p  /data/doris/DORIS-0.14.7-release/fe/doris-meta"
            #ssh ${host[$i]} "sudo mkdir -p  /data/doris/DORIS-0.14.7-release/be/storage"
    
            #用户目录赋权
            #ssh ${host[$i]} "sudo chown -R doris:doris /data/doris/"
    
            let i++
            let num--
    done
    
    #修改FE 配置文件
    #sudo vim /data/doris/DORIS-0.14.7-release/fe/conf/fe.conf  调整内存 JAVA_OPTS = "-Xmx32768m 32G 存储元数据
    
    #启动FE
    #sudo su -  doris -c " /data/doris/DORIS-0.14.7-release/fe/bin/start_fe.sh --daemon "
    
    
    #!/bin/bash
    basedir=/data/user/mysql_admin
    #be_host.txt 存放be节点的ip  fe、broker同理
    db_data1=`cat $basedir/be_host.txt`
    host=($db_data1)
    num=${#host[@]}
    i=0
    while (($num>0))
    do
    	echo  ${host[$i]} 
    
    	#启动  fe、broker同理
    	ssh ${host[$i]} " sudo su -  doris -c \" /data/doris/DORIS-0.14.7-release/be/bin/start_be.sh --daemon \"  "
    	#关闭  fe、broker同理
    	#ssh ${host[$i]} " sudo su -  doris -c \" /data/doris/DORIS-0.14.7-release/be/bin/stop_be.sh \"  "
    	#ssh ${host[$i]} " sudo su -  doris -c \" /data/doris/DORIS-0.14.7-release/fe/bin/start_fe.sh --daemon \"  "
    	#ssh ${host[$i]} " sudo su -  doris -c \" /data/doris/DORIS-0.14.7-release/fe/bin/stop_fe.sh  \"  "
    	#ssh ${host[$i]} " sudo su -  doris -c \" /data/doris/DORIS-0.14.7-release/apache_hdfs_broker/bin/start_broker.sh --daemon \"  "
    	#ssh ${host[$i]} " sudo su -  doris -c \" /data/doris/DORIS-0.14.7-release/apache_hdfs_broker/bin/stop_broker.sh  \"  "
    
    
            let i++
            let num--
    done
    
    
    展开全文
  • 如果在安装Doris的过程中安装Envisat tool失败了,可能的原因是gcc的版本过高,建议安装gcc4.1 或者gcc4.2(不需要卸载当前高版本gcc),安装完之后修改“Makefile”,将其中的“cc=gcc” 修改为“cc=gcc-4.1” 或者...

    如果在安装Doris的过程中安装Envisat tool失败了,可能的原因是gcc的版本过高,建议安装gcc4.1 或者gcc4.2(不需要卸载当前高版本gcc),安装完之后修改“Makefile”,将其中的“cc=gcc” 修改为“cc=gcc-4.1” 或者“cc=gcc-4.2”,然后重新makesudo make install

    展开全文
  • doris安装进行了较为详尽的描述,针对不同系统和用户载安装过程中遇到的各个程序进行筛选,比较适合于doris初学者使用,在最有有实例说明。
  • Apache Doris安装与使用

    千次阅读 2021-01-27 16:35:14
    社区推荐是自己编译,官网在这里,过程相当简单,就一句话 sh build.sh,但是在编译过程中容易...Doris架构也很简单,分成FE(front end)和BE(back end): FE 的磁盘空间主要用于存储元数据,包括日志和 image。通常从
  • Doris是基于 MPP 的交互式 SQL 数据仓库,主要用于解决报表和多维分析问题 名词解释 Frontend(FE):Doris 系统的元数据和调度节点。在导入流程中主要负责导入任务的调度工作。 Backend(BE):Doris 系统...
  • Doris安装记录!

    千次阅读 2013-09-04 09:53:55
     在根目录下建个doris文件夹,将下载好的fftw-3.2.2,doris,getorb,snaphu等解压到doris文件夹下,如下图 二:安装fftw-3.2.2 2.1.打开终端,输入命令 cd /doris_v4.02/fftw-3.2.2,进入doris_v4.02文件夹下的...
  • Doris安装步骤及常见错误总结

    千次阅读 2020-05-19 03:22:07
    doris_v4.06beta2.tar.gz fftw-3.2.1.tar.gz getorb_2.3.2.tar.gz ROI_PAC_3_0.tar.gz snaphu-v1.4.2.tar.gz triangle.zip Mathworks.Matlab.R2010a.UNIX.ISO Doris解压后文件夹内的内容 添加文件到解压文件夹之后 ...
  • 在XP下完成Cygwin的安装后,即可进行Doris软件的安装了。如果是在Ubuntu12.04及以后的环境下,请使用root账户登录使用。(详情请参考:StaMPS安装与使用心得(一) - Ubuntu 12.04 安装与设置 ) 1. 软件下载 ...
  • 因为最新版本的MySQL-ODBC驱动对Doris的兼容并不太好 所以准备了一个5.3版本的驱动 链接: https://pan.baidu.com/s/1hcRVIGH3rGbIqJBGIpVSYQ 密码: 4mfq 2.安装unixODBC 因为mysql-odbc依赖unixodbc yum ...
  • 学习InSAR(Interferometric Synthetic Aperture Radar)的同学都会听说大名鼎鼎的Doris了,这是TUDelft的radar小组开发的一款开源雷达干涉测量处理软件,能完成从原始SAR影像读取、配准、冲采样、生成干涉图、相位解...
  • Doris编译安装 0.14.0

    2021-06-07 19:57:13
    Doris安装文档 环境准备 硬件 参数 数量 1台 内核 CentOS Linux release 7.6.1810 (Core) CPU 8核 2925.986Mhz 架构 x86_64 内存 128M 硬盘 sda 50G / sdb 200G /data 关闭防火墙 # systemctl...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 916
精华内容 366
关键字:

doris安装