精华内容
下载资源
问答
  • Transwarp Inceptor 问题记录与解决
    千次阅读
    2019-04-16 18:45:11

    存储过程中查不到system模式下的表数据(NO_DATA_FOUND)

    set ngmr.dd.local.mode.auto=false;
    # 系统表实际上是mysql表的视图,默认为local模式应该会更快捷一点。但是应该有地方配置错误,所以需要关闭local模式,但是会牺牲一点查询性能
    

    不能Rename表

    set inceptor.torc.allow.rename=true;
    # 星环给的解释是:rename表可能会导致丢数据,所以把该功能禁用了,需要手动打开
    

    不能truncate表(truncate 表时报错)

    Error: EXECUTION FAILED: Task DDL error HiveException: [Error 40000] Exception while processing (state=08S01,code=40000)

    # 这种情况是因为我们从仓库1复制到仓库2时,所有仓库1表的元数据都同步到了仓库2,但是有些表数据并没有同步(比如tmp表,ifc表等),所以表的hdfs路径不存在,在truncate时会报该错误。解决办法就是,随便插入一条数据后再truncate即可。比如:
    insert into ifc.table(data_date) values('test');
    

    varchar及varchar2字段类型必须设定字段长度,否则会报该错误

    Error: COMPILE FAILED: Semantic error: [Error 20594] Zero-length varchar2 column is not allowed (state=42000,code=20594)

    varchar or varchar2 to varchar(8) or varchar2(8)
    #加上字段长度就好啦。这个应该是星环加强了某些限制。
    

    动态分区删数据问题

    delete from table_t partition(day_code) where day_code = vs_run_date and xx_flag = 1;
    
    1. 必须要指定分区字段,也即加上partition(day_code);
    2. 必须开启参数:set hive.crud.dynamic.partition=true;

    动态分区自动增分区问题

    insert into table_t partition(day_code) values('1',1,'20210101');
    
    1. 必须要指定分区字段,也即加上partition(day_code);
    2. 必须开启参数:set hive.exec.dynamic.partition=true;

    开启kerberos后,用户查表报权限问题

    Error: COMPILE FAILED: Internal error HiveAccessControlException: [Error 20388] Permission denied: Principal [name=xxxxx, type=USER] does not have following privileges for operation SHOW_CREATETABLE [[SELECT with grant] on Object [type=TABLE_OR_VIEW, name=xxx.xxxxxxxxx]] (state=42000,code=20388)

    这个问题可以先尝试通过管理员账号进行赋权解决。

    grant ALL on table xxx.* to user xxx;
    

    如果还不行,说明是kerberos开启的时候,有些权限没有弄好。可以尝试修改inceptor元数据库来解决

    1. 登录active namenode
    2. 登录mysql
    3. 列出databases
    mysql> show databases;
    +------------------------+
    | Database               |
    +------------------------+
    | information_schema     |
    | metastore_inceptorsql1 |
    | mysql                  |
    | test                   |
    +------------------------+
    4 rows in set (0.00 sec)
    
    4. 进入元数据库
    mysql> use metastore_inceptorsql1;
    Database changed
    
    -- 查看inceptor库列表
    select db_id,name from DBS;
    
    -- 查看相应表的所有人(owner)
    select OWNER 
    from TBLS
    where DB_ID = 'X'   --在上个语句查询
    and tbl_name = 'Y'  --具体表名
    
    -- 如果所有者不对,问题就在这里了,可以更新所有者
    update TBLS
    set OWNER='xxxxx'  --登录inceptor的用户名
    DB_ID = 'X'
    and tbl_name = 'Y'
    
    -- 也可以直接整库更新
    update TBLS set OWNER='xxxxx' where DB_ID in ('X1','X2')
    

    -------------------------2021-05-17更----------------------------
    发现有很多tos running with problems
    这个问题的背景和现象是:

    1. 许可证过期,重新认证后,重启inceptor时,最后在这一步【通过TOS启动executor group1】失败。
    2. inceptor显示为down,但实际可用,executor也都正常。
    3. inceptor的daemon check显示unknowhost:none --被这个问题现象带到沟里去了

    排查步骤:

    1. 由于服务正常,只不过管理界面显示异常。所以查了nn01节点的health check报错日志,也报了一堆unknowhost exception。跟界面的显示结果一致,好了,根据经验,查/etc/hosts,查/etc/resolv.conf,查hostname,但都没问题。。。还查了防火墙,但都没问题

    2. 然后在inceptor启动步骤里,分析日志,看到如下信息(其实看了很多次,不知道也没注意这个问题,直到反复排查了第1个问题n次后,才关注到这个日志)。 由此日志,我感觉应该是这一步会在k8s的虚拟dns中注入host信息,所以上面那一步报错其实问题还在这里

    tos registry hostname in Service(10,Some(1),INCEPTOR,None,transwarp-6.0.2-final,INSTALLED,inceptor1,Inceptor1,KUBERNETES,true,true,false,false) 's dependencies is xxxxx
    generated inceptor-executor1.yaml on [Manager]
    
    1. 在8180的tos界面看到很多tos不健康(Running with problems),之前出其他问题跟星环运维沟通过,他们有时候会问tos是否正常。所以我感觉也有可能是这些tos的问题。换思路,先搞定这些tos问题再看inceptor
      但是tos日志没找到,最后在星环论坛上找到一篇文章,里面有说修改配置后,重启tos的操作。那我就不修改配置,重启下某个主机的tos,神奇的是这个主机的tos好了,接着把其他有问题的节点都重启,tos都健康后,inceptor自己就好了
    # 这个实际不是重启tos,好像重启或重置某些k8s相关的服务
    systemctl daemon-reload && systemctl restart kubelet && systemctl restart haproxy
    

    奇怪的知识又增加了。不过也说明自己对当下火热的k8s一窍不通,有时间有机会要去学习下。

    更多相关内容
  • hadoop,hive2链接,org.apache.hive.jdbc.HiveDriver依赖
  • transwarp是用于任务并发的仅标头C ++库。 它使您可以轻松地创建任务图,其中每个任务都可以异步执行。 transwarp用C ++ 17编写,仅依赖于标准库。 只需将src/transwarp.h复制到您的项目中就可以了! 经过GCC,Clang...
  • Transwarp Inceptor是星环科技推出的用于数据仓库和交互式分析的大数据平台软件,它基于Hadoop和Spark 技术平台打造,加上自主开发的创新功能组件,有效的解决了企业级大数据数据处理和分析的各种技术难 题,帮助...
  • Transwarp Slipstream白皮书.pdf
  • Transwarp Hyperbase白皮书.pdf
  • Inceptor是一款用于批量处理及分析的数据库。它支持SQL 2003标准、Oracle PL/SQL以及DB2 SQL PL,对Oracle、DB2以及Teradata 都有很好的方言支持,是Hadoop领域对SQL标准支持最完善的产品。Inceptor的另一大优势是对...
  • Transwarp

    2021-04-27 15:37:02
    Transwarp环境问题haproxy服务异常 环境问题 haproxy服务异常 yum reinstall haproxy vim /usr/lib/systemd/system/haproxy.service #将/usr/lib/systemd/system/haproxy.service中/etc/haproxy/haproxy.cfg改为/etc...

    环境问题

    haproxy服务异常

    yum reinstall haproxy
    vim /usr/lib/systemd/system/haproxy.service
    #将/usr/lib/systemd/system/haproxy.service中/etc/haproxy/haproxy.cfg改为/etc/tos/conf/haproxy.cfg
    systemctl daemon-reload
    systemctl restart haproxy
    

    license服务异常

    异常表现TOS服务正常,license服务起不来。
    修改文件 cat /srv/kubernetes/kubeconfig
    在这里插入图片描述
    然后重启kubelet,重启TOS-master服务。

    展开全文
  • TDH主要提供6款核心产品:Transwarp Inceptor是大数据分析数据库,Transwarp Slipstream是实时计算引擎, Transwarp Discover专注于利用机器学习从数据提中取价值内容,Transwarp Hyperbase用于处理非结构化数据, ...

    CSDN话题挑战赛第1期
    活动详情地址:CSDN
    参赛话题:大数据学习记录
    话题描述:大数据生态圈内的理念和技术实现,包括但不局限于大数据存储(数据湖、数据仓库、消息队列等)、大数据计算(离线批、实时流等)、大数据应用(报表可视化、OLAP应用、用户画像、智能搜索、智能推荐等)、大数据的调度(各类调度器)等方面;囊括开源社区(如Apache、CDH、HDP、等)大数据技术栈以及公有云(如AWS、阿里云、华为云、腾讯云、Microsoft Azure)大数据技术栈,这里是大数据的阵地,让各类大数据理念在此百家争鸣,百花齐放。

    目录

    1. 简介

    1.1. Transwarp Data Hub介绍

    1.2. 集群结构

    2. 安装准备

    2.1. 硬件环境要求

    2.2. 操作系统要求

    2.3. Java环境要求

    2.4. 支持的浏览器

    3. 安装前的检查

    3.1. 系统磁盘分区要求

    3.1.1 磁盘资源的规划 

    3.2. 内存容量要求

    3.3. 网络设置

    3.4. 集群和网络拓扑要求

    3.5. NTP服务设置

    3.6. 安全设置

    3.7. 系统的推荐设置

    4. 安装配置

    4.1. 修改主机名

    4.2. 创建目录

    4.3. 配置磁盘分区

     5. Transwarp Manager的安装

    5.1. 安装前系统配置改动

    5.2. 安装介质

    5.3. 安装Transwarp Manager

    5.3.1. 阅读java许可协议

    5.3.2. 检查环境

    5.3.3. 配置网络

    5.3.4. 配置RPM库

    5.3.5. 开始安装

    5.3.6. 安装完成

    6. 用Transwarp Manager配置集群 

    6.1.1. 阅读TDH最终协议

    6.1.2. 配置集群名称

    6.1.3. ​​​​​​​添加节点

    6.1.4. ​​​​​​​添加服务


    1. 简介

    1.1. Transwarp Data Hub介绍

      2006年Hadoop技术的出现标志着大数据技术时代的开始,经过10多年的蓬勃发展,大数据技术已经真正承托起一大批 企业的数据基础架构。经过4年的快速演进,Transwarp Data Hub(简称TDH)已成为国际一流的大数据平台。从2016年起,TDH正式成为Gartner认可的Hadoop国际主 流发行版本。
    TDH是国内首个全面支持Spark的Hadoop发行版,也是国内落地案例最多的商业版本,是国内外领先的高性能平台,比开源基于Hadoop MapReduce计算框架的版本快10x~100x倍。TDH应用范围覆盖各种规模和不同数据量的企业,通过内存计算、高效索引、执行优化和高度容错的技术,使得一个平台能够处理GB级到PB级的数据,并且在每个数量级上,都能比现有技术提供更快的性能;企业客户不再需要混合架构,TDH可以伴随企业客户的数据增长,动态不停机扩容,避免MPP或混合架构数据迁移的棘手问题。

     TDH主要提供6款核心产品:Transwarp Inceptor是大数据分析数据库,Transwarp Slipstream是实时计算引擎, Transwarp Discover专注于利用机器学习从数据提中取价值内容,Transwarp Hyperbase用于处理非结构化数据, Transwarp Search用于构建企业搜索引擎,Transwarp Sophon则是支持图形化操作的深度学习平台。通过使用TDH, 企业能够更有效的利用数据构建核心商业系统,加速商业创新。
    TDH产品的主要技术优势包括以下几个方面:
    1. 极致的性能与可扩展性
    TDH的批处理速度是开源Hadoop的10-100倍,是MPP的5-10倍,可以对从GB到PB级的数据量实现复杂的查询和分析。TDH具有高可扩展性,用户可以通过增加集群节点数量,线性提高系统的处理能力。
    2. 容器技术与大数据平台
    TDH支持部署于TOS之上。TOS是为大数据应用量身订做的云操作系统,基于Docker和Kubernetes,支持一键部署TDH、扩容、缩容,同时支持基于优先级的抢占式资源调度和细粒度资源分配。
    3. 完整的SQL和ACID支持
    Transwarp Inceptor是第一个实现完整SQL支持的Hadoop发行产品。它不仅支持SQL 2003,Oracle PL/SQL以及DB2 SQLPL,还实现了完整的ACID和CRUD功能。TDH提供JDBC和ODBC驱动连接,方便第三方工具运行于TDH之上。
    4. 低延迟的流处理
    Transwarp Slipstream是同时支持事件驱动和微批处理的流处理引擎,计算延迟最低可至5ms。它提供标准的SQL编程接口,还支持高可用性(HA)和Exactly-Once的语义,从而支持7x24小时的 生产业务。
    5. 丰富的机器学习和深度学习功能
    Transwarp Discover支持用户通过R语言和Python开发机器学习项目,也可以用图形化的工具做分析。深度学习平台Sophon能 帮助用户快捷的创建AI应用程序。
    6. 大数据上的全文搜索
    Transwarp Search支持通过SQL实现大数据上的秒级全文搜索,它利用层次化存储、堆外内存管理等创新性技术,极大的提高了系统的可用性。此外,Search还可以结合Inceptor提供较 强的数据分析能力。
    7. 图形化的大数据开发工具套件
    Transwarp Studio是TDH中的大数据开发工具集,包括元数据管理Governor、工作流Workflow、数据整合工具Transporter,Cube设计工具Rubik以及报表工具Pilot。用户可以使用这些图形化工具来提高大数据的开发效率,降低技术门槛。
    8. 多样化的数据处理功能
    Transwarp Hyperbase用于存储和计算结构化或非结构化数据,包括日志记录、JSON/XML文件以及二进制数据(如图像和视频)。Hyperbase底层是KV的数据库,因此其非常适合高频次的数据入库、高并发精确检索等业务。
    9. 简易的操作和管理
    Transwarp Transwarp Manager是专门用于部署、管理和运维TDH集群的组件。它支持产品一键安装、一键升级和图形化运维,并提供了预警和健康检测功能,帮助用户简化运维过程。
    10. 统一的安全/多租户管理
    Transwarp Guardian是TDH平台中实现安全控制和资源管理的中央服务平台,它支持Kerberos和LDAP认证,可以做细粒度的权限控制,并且提供租户管理功能。

    1.2. 集群结构

    创建一个集群前,首先必须对整个集群进行规划,规划包括集群节点、网络、软件模块分布等部分。运维人员必须保证将用于构造集群的服务器满足Transwarp Data Hub系统的基本要求。这些要求包括硬件要求、软件要求、内存要求、网络要求等。第二章将对这些要求进行详细介绍。Transwarp Data Hub通过网络连接所有服务器并实现整个集群的服务,因此架构师需要仔细计算应用服务对网络带宽和延迟的需求并规划整个网络拓扑,如您需要规划帮助可以咨询星环科技的售前人员和架构师。在应用规划中您需要根据应用的特点决定哪些软件模块和组件需要安装。我们将列出安装前的硬件和软件要求,在满足这些要求的基础上,您才可以开始进行系统安装。
    系统安装包括以下步骤:
    1. 在集群中所有的节点上安装所需要的操作系统。
    2. 在管理节点上安装Transwarp Manager。
    3. 通过Transwarp Manager来把所有的节点加到集群中、对这些节点部署相关软件和配置,并运行服务。

    2. 安装准备

    2.1. 硬件环境要求

    Transwarp Data Hub(简称TDH)提供集群服务来保证服务的高可用性,因此集群系统必须是3台以上物理服务器组成,每台服务器必须具备以下最低配置:
    • 2颗6核心或以上带超线程x86指令集CPU的服务器
    • 64GB以上内存
    • 2个300G以上的硬盘做RAID1,作为系统盘
    • 4个以上的300GB容量以上的 硬盘作为数据存放硬盘
    • 2个千兆以上网卡
    为实现较好的性能并实现最高的性价比,TDH针对集群内不同的模块有不同的推荐配置,Namenode和Transwarp Manager推荐使用以下配置:
    • 2颗6核带超线程的x86指令集CPU服务器(比如Intel(r) Xeon(r) E5-2620 v2 CPU)
    • 128GB以上内存
    • 6个600G以上的硬盘做RAID1作为系统盘和管理数据
    • 2个千兆以上网口的网卡
    数据节点(Datanode)的硬件配置应该根据不同应用的特点进行选配,使用Inceptor,Discover和Slipstream配置的用户需要比较高的计算能力的服务器,其数据节点的推荐配置如下:
    • 2颗8核心或以上带超线程x86指令集CPU的服务器(比如Intel® Xeon® E5-2650 v2)
    • 128GB以上内存
    • 2个300G以上的硬盘做RAID1,作为系统盘
    • 10个以上的2TB容量以上的硬盘作为数据存放硬盘
    • 2个千兆以上网卡
    系统盘可以做RAID1。但是数据盘不需要RAID,若需要RAID,请做RAID0.

    2.2. 操作系统要求

    • 所有集群中的节点,必须运行于同一操作系统。Transwarp Data Hub支持以下操作系统。
    操作系统版本
    Red Hat Enterprise Linux7.2、7.3
    CentOS7.2、7.3

    2.3. Java环境要求

    如果您的集群的机器上还没有安装JDK,您无需自行安装JDK——我们提供的TranswarpData Hub安装工具会帮您安装。如果您的机器上有不同版本的JDK,可能会和安装工具安装的JDK发生冲突。请在安装前运行下面指令来查看您的JDK版本。
    java -version
    TDH目前支持以下JDK版本:
    • Oracle JDK 1.7

    注意:如果系统还没有安装jdk,则不需要单独安装,TDH会自动安装jdk。

    2.4. 支持的浏览器

    Transwarp Data Hub采用Web页面作为平台管理界面,管理平台支持以下浏览器

    浏览器版本
    Google Chrome(推荐)41及以上
    FireFox40.0及以上
    Safari9.0及以上
    Internet Explorer(不推荐)不支持

    3. 安装前的检查

    3.1. 系统磁盘分区要求

    系统安装和运行需要占用硬盘空间,在安装前操作系统硬盘必须留出300GB空间。 对磁盘进行分区时需要遵守以下几点要求:

    • 至少要分出swap和加载于“/”的系统分区。

    • 推荐系统分区大小为200GB~300GB,并将该分区挂载到/目录。

    • 推荐把每个物理磁盘挂载在/mnt/disknn (nn为1至2位的数字) 上不同的挂载点。建议使用XFS文件系统。每个这样的目录会被管理节点自动配置为HDFS DataNode的数据目录。

    • HDFS DataNode的数据目录不能放在系统分区,以避免空间不足和IO竞争。同时也建议不要将数据分区和系统分区放在同一块磁盘上以避免IO竞争。除非整个HDFS规划空间不足,否则不要在系统分区所在磁盘上创建数据分区。

    • 请在某挂载盘上为TxSQL预留不小于200GB的空间,并将TxSQL的data dir设置为该挂载盘的某个目录(例如 /mnt/disk1/txsqldata/)。

    • 为了保证Docker运行的稳定性,需要专门给Docker分配一个磁盘分区,推荐分区大小为100~300GB。注意,为了保证流畅运行,请尽量把Docker卷组划分在数据盘下。如果数据盘较多且存储空间过剩,建议使用单独一块数据盘作为docker分区。否则,建议将一块数据盘的一个分区作为docker分区。在安装之前需要对该预留的分区进行处理,需要对分区进行格式化处理。

    3.1.1 磁盘资源的规划 

    namenode

    文件系统

    大小

    挂载目录

    文件系统类型

    /dev/sda1

    400GB

    /

    XFS

    /dev/sda2

    32GB

    swap

    /dev/sda3

    200GB

    /var/log

    XFS

    /dev/sdb1

    600GB

    /mnt/disk1

    XFS

    /dev/sdc1

    600GB

    /var/lib/docker

    XFS

    datanode1

    文件系统

    大小

    挂载目录

    文件系统类型

    /dev/sda1

    200GB

    /

    XFS

    /dev/sda2

    32GB

    swap

    /dev/sda3

    200GB

    /var/log

    XFS

    /dev/sdb1

    300GB

    /mnt/disk1

    XFS

    /dev/sdc1

    300GB

    /mnt/disk2

    XFS

    /dev/sdd1

    300GB

    /var/lib/docker

    XFS

    datanode2

    文件系统

    大小

    挂载目录

    文件系统类型

    /dev/sda1

    200GB

    /

    XFS

    /dev/sda2

    32GB

    swap

    /dev/sda3

    200GB

    /var/log

    XFS

    /dev/sdb1

    300GB

    /mnt/disk1

    XFS

    /dev/sdc1

    300GB

    /mnt/disk2

    XFS

    /dev/sdc2

    300GB

    /var/lib/docker

    XFS

    3.2. 内存容量要求

    每个节点必须至少有64GB的RAM。根据节点所安装的Transwarp Data Hub服务,节点可能需要超过64GB的RAM。

    3.3. 网络设置

    安装Transwarp Data Hub需要最低的网络为千兆以太网。当一台机器上有多个网络适配器时,用户可以在安装Transwarp Data Hub之前对其进行绑定配置。

    3.4. 集群和网络拓扑要求

    • 决定集群中的节点数目。
    • 决定集群中的机柜数目及每个机柜的名称。
    • 决定每个机柜中的节点数目。
    • 决定每个节点所在的子网(或多个子网)。
    • 决定每个节点的主机名和IP地址。
    • 决定哪个机器是管理节点。
    • 决定哪些机器是NameNode。
    • 决定哪些机器是客户端,哪些机器运行TDH服务,或二者兼是。
    • 一旦主机名分配给NameNode,主机名则不能再更改。
    • 确定你知道要加入到TDH集群中的每个节点的root密码。
    • 管理节点必须和集群中的其他节点属于同一子网。
    • 决定在集群中使用哪些组件。
    • 决定网络带宽和交换机背板带宽。决定交换机型号。
    • 决定如何连接到交换机。必须知道需要用到哪些以太网端口和是否需要绑定。
    • 确定每台机器的IP地址和主机名。决定如何分配IP(使用DHCP或静态分配)。决定如何解析主机名(使
    用DNS或/etc/hosts)。如果使用/etc/hosts,管理节点将负责更新集群中每台机器的/etc/hosts。

    3.5. NTP服务设置

    决定如何进行时间同步。管理节点将负责所有服务器上的时间的同步,但您需要决定是否使用外部的NTP服务。如果不使用外部NTP服务,集群中所有服务器的时间是相同的,但这个时间有可能不是标准时间,这有可能导致集群与外部连接时产生错误。

    3.6. 安全设置

    禁掉SELinux和iptables(Transwarp Manager会自动禁掉SELinux和iptables)。

    setenforce 0
    sed -i "s/SELINUX=enforcing/SELINUX=disabled/g" /etc/selinux/config
    
    systemctl stop firewalld
    systemctl disable firewalld

    3.7. 系统的推荐设置

    以下推荐配置可帮助确保TDH集群的性能优化和可管理性。
    • 节点的主机名解析。注意,主机名只能由英文、数字和“-”组成,否则之后的安装会出现问题。
    • 要同时添加一组节点到集群中。
    • 要减少网络延迟,集群中的所有节点都必须属于同一子网。
    • 每个节点应配置一块10GE的网卡,用于节点间的通信和执行集群中需要网络连接的任务。
    • 如果节点没有使用10GE的网卡,则可使用网卡绑定以便将多个网卡组合在一起以提升网络流量。绑定的网卡必须使用工作模式6。
    • 每个节点推荐最小的系统分区,至少有300GB的磁盘空间。
    • 每个节点应至少有6T的可用磁盘空间用于HDFS。
    • 如果可能,避免将物理磁盘分为多个逻辑分区。除了系统分区外,每个物理磁盘应当仅有一个分区,且该分区包含整个物理磁盘。
    • 仅使用物理机器,不要使用虚拟机器。虚拟机可能会明显导致HDFS I/O的缓慢。
    • 节点所在的单个或多个子网不允许有其他机器。
    • 集群中不能同时有物理机器和虚拟机器。
    • 要确保集群中的机器不成为性能和I/O的瓶颈,所有机器必须有相似的硬件和软件配置,包括RAM、CPU和磁盘空间。
    • 每个节点应至少有64GB的内存。
    • 由于服务可能生成大量日志,推荐将/var/log放置在其他逻辑分区。这可保证日志不会占满根分区的空间。
    • 要加快对本地文件系统的读取,可使用noatime选项挂载磁盘,这表示文件访问时间不会被写回。 

    4. 安装配置

    4.1. 修改主机名

    1、为每个节点添加如下信息

    vi /etc/hosts        
    192.168.100.108 namenode    #作为name节点
    192.168.100.103 datanode1    #作为data节点
    192.168.100.101 datanode2

    注意,/etc/hosts文件的第一行必须为127.0.0.1的记录,不能将此行注释掉,也不能将当前主机名写在该行中。
    2、修改hostname

    [root@namenode ~]# hostnamectl set-hostname namenode
    # vi /etc/sysconfig/network

    3、修改static hostname
    查看static hostname与transient hostname是否一致

    hostnamectl status
    hostnamectl -- transient set-hostname datanode1
    hostnamectl --static set-hostname datanode1

    如不一致需要修改一致,否则安装TDH进行环境监察时会报错,错误如下:
     
    4、修改/etc/resolv.conf文件
    注释掉search localdomain,该选项如果不注释,在为节点配置ssh时可能会报java.net.UnknownHostException

     

    4.2. 创建目录

    创建disk目录
    需要几个disk盘就创建几个disk目录。
    推荐把每个物理磁盘挂载在/mnt/disknn (nn为1至2位的数字) 上不同的挂载点。建议使用XFS文件系统。每个这样的目录会被管理节点自动配置为HDFS DataNode的数据目录。

    mkdir /mnt/disk1
    mkdir /var/lib/docker

    4.3. 配置磁盘分区

    1、Redhat / CentOS系统
    在Redhat / CentOS上,docker分区应采用xfs格式
    1. 创建目录/var/lib/docker

    mkdir -p /var/lib/docker

    2. 对分区进行xfs格式化

    mkfs.xfs -f -n ftype=1 /dev/<p_name>

    3. 挂载分区

    mount /dev/<p_name> /var/lib/docker

    4. 进行验证,检查是否格式化成功

    xfs_info /dev/<p_name> | grep ftype=1

    如果该语句返回结果中有ftype=1字样,则说明格式化成功。
    5. 配置/etc/fstab
    执行语句下述命令查看UUID:

    blkid /dev/<p_name>

    将查到的UUID值<UUID>添加在/etc/fstab中:

    UUID=<UUID> /var/lib/docker xfs defaults 0 0

     5. Transwarp Manager的安装

    5.1. 安装前系统配置改动

    如果您有DNS,那么您可以直接跳到下一节。如果您没有DNS,在安装前,请打开管理节点下的/etc/hosts文件,查看该文件是否包含管理节点的hostname和它IP地址的对应。

    5.2. 安装介质

    如果有安装光盘可将安装光盘插入服务器CD/DVD ROM中直接运行。由于安装过程中会使用到操作系统的安装介质,建议用户将OS的ISO文件事先拷贝到管理服务器上。
    如客户服务代表或技术支持提供的是压缩包,请将压缩文件导入服务器中。
    目前共提供以下三个压缩包:
    1. TDH-Image-Registry-Transwarp-5.0.0-final.tar.gz
    2. TDH-Basic-Component-Transwarp-5.0.0-final.tar.gz
    3. TDH-Machine-Learning-Transwarp-5.0.0-final.tar.gz
    为了安装TDH,首先请解压TDH-Image-Registry-Transwarp-5.0.0-final.tar.gz和TDH-Basic-Component-Transwarp-5.0.0-final.tar.gz,然后将解压后的文件registry移动至transwarp,实现该过程的命令如下:
    # 解压出目录registry
    tar xvzf TDH-Image-Registry-Transwarp-5.0.0-final.tar.gz
    # 解压出目录transwarp
    tar xvzf TDH-Basic-Component-Transwarp-5.0.0-final.tar.gz
    # 将registry移动至transwarp目录下
    mv registry transwarp/
    随后即可开始TDH的安装,执行下述命令,进入Transwarp Manager的安装界面。Transwarp Manager的具体安装步骤请阅读安装Transwarp Manager。
    cd transwarp #进入解压后的transwarp目录
    ./install #执行install二进制文件

    5.3. 安装Transwarp Manager

    5.3.1. 阅读java许可协议

    5.3.2. 检查环境

    注意:此处如果static hostname与trainst hostname不一致会报如下错误:

     

    5.3.3. 配置网络

    5.3.4. 配置RPM库

    安装TDH需要操作系统的iso镜像文件,并配置RPM库

    5.3.5. 开始安装

    注意:安装时只在name节点安装即可,data节点不需要安装。

     

    5.3.6. 安装完成

    端口默认8180,用户/密码默认admin/amin

    6. 用Transwarp Manager配置集群 

    打开客户端浏览器(推荐使用Google Chrome浏览器),输入安装好的管理节点IP或DNS地址,比
    如http://172.16.3.108:8180/(172.16.3.108是管理节点的IP 地址)。访问这个地址,您会看到下面的登陆页面。Transwarp Manager会试着根据您的系统判断您使用的语言,如果当前显示的语言和您想要使用的不同,可以点击右上角的 来选择语言。目前Transwarp Manager支持中文和英文:

    6.1.1. 阅读TDH最终协议

    6.1.2. ​​​​​​​配置集群名称

    6.1.3. ​​​​​​​添加节点

     

     

    此处输入root的密码,要求所有节点密码相同

     

    如果不注释/etc/resolv.conf中的search localdomain,会报如下错误:

     

     

    6.1.4. ​​​​​​​添加服务

    注意:添加服务需要一个服务一个服务的添加,不然整个TDH集群会挂掉。

    服务添加顺序:

    TOS、ZOOLEEPER、HDFS、HYPERBASE、INCEPTOR、YARN

    具体服务及角色介绍详见:https://www.warpcloud.cn/#/documents-support/docs/products

     

    CSDN话题挑战赛第1期
    活动详情地址:CSDN

    展开全文
  • Transwarp Data Hub Version 5.2 安装手册,更好的学习hadoop数据库。
  • Transwarp的Apache Hadoop for Enterprise发行版具有五层体系结构。 不同的应用程序通过灵活的组合和组件之间的有效协调来提供定制支持。 Transwarp Inceptor内存中分析引擎提供了高速交互式SQL查询。 基于Apache...
  • Transwarp安装运维手册

    2015-07-13 13:53:14
    Transwarp安装运维手册 3.0版本,涉及transwarp相关使用
  • 星环Hyperbase 大数据 大数据库操作手册 包括:表的分类 数据类型 SQL手册 详细!!!
  • Transwarp Data Hub主要提供5类核心产品:分析型数据库(Transwarp Inceptor和Transwarp ArgoDB),实时流计算引擎(Transwarp Slipstream),知识库(Transwarp Search和Transwarp StellarDB),操作型数据库(Transwarp ...
  • Transwarp Inceptor白皮书.pdf
  • Transwarp大数据平台

    千次阅读 2018-01-16 11:02:01
    1 Transwarp Inceptor简介 TranswarpInceptor是星环科技推出的用于数据仓库和交互式分析的大数据平台软件,它基于Hadoop和Spark技术平台打造,加上自主开发的创新功能组件,有效的解决了企业级大数据数据处理和...

    1 Transwarp Inceptor简介

    TranswarpInceptor是星环科技推出的用于数据仓库和交互式分析的大数据平台软件,它基于Hadoop和Spark技术平台打造,加上自主开发的创新功能组件,有效的解决了企业级大数据数据处理和分析的各种技术难题,帮助企业快速的构建和推广数据业务。

    TranswarpInceptor可提供完整的SQL支持,支持主流的SQL模块化扩展,兼容通用开发框架和工具,支持事务特性保证数据的准确性,允许多租户的隔离与管理,且能够利用内存或者SSD来加速数据的读取,支持与关系型数据库实时对接并做统计分析,辅以高性能的SQL执行引擎,为企业提供高性价比和高度可扩展的解决方案。

    这里写图片描述

    在Inceptor中,您可以使用常见的数据库对象,包括数据库(database),表(table),视图(view)和函数(function)。您可以使用Inceptor SQL、Inceptor PL/SQL以及Inceptor SQL PL来操作这些数据库对象。Inceptor中数据库对象的元数据保存在Inceptor Metastore中,而数据库对象内的数据可以存放在:
    1.内存或者SSD中(Holodesk表)
    2.HDFS中(TEXT表/ORC表/CSV表)

    2 产品背景

    Transwarp Data Hub (TDH)

    2006年Hadoop技术的出现标志着大数据技术时代的开始,经过10多年的蓬勃发展,大数据技术已经真正承托起一大批企业的数据基础架构。经过4年的快速演进,Transwarp Data Hub(简称TDH)已成为国际一流的大数据平台。从2016年起,TDH正式成为Gartner认可的Hadoop国际主 流发行版本。

    TDH是国内首个全面支持Spark的Hadoop发行版,也是国内落地案例最多的商业版本,是国内外领先的高性能平台,比开源基于Hadoop MapReduce计算框架的版本快10x~100x倍。TDH应用范围覆盖各种规模和不同数据量的企业,通过内存计算、高效索引、执行优化和高度容错的技术,使得一个平台能够处理GB级到PB级的数据,并且在每个数量级上,都能比现有技术提供更快的性能;企业客户不再需要混合架构,TDH可以伴随企业客户的数据增长,动态不停机扩容,避免MPP或混合架构数据迁移的棘手问题。

    3 核心产品与架构

    Transwarp Data Hub由Apache Hadoop、6款核心产品、大数据开发工具集Studio、安全管控平台 Guardian和管理服务Manager构成。 TDH主要提供6款核心产品:Transwarp Inceptor是大数据分析数据库,Transwarp Slipstream是实时计算引擎,Transwarp Discover专注于利用机器学习从数据提中取价值内容,Transwarp Hyperbase用于处理非结构化数据,Transwarp Search用于构建企业搜索引擎,Transwarp Sophon则是支持图形化操作的深度学习平台。通过使用TDH,企业能够更有效的利用数据构建核心商业系统,加速商业创新。

    TDH产品架构图如下图所示:
    这里写图片描述
    图1 星环大数据平台架构图

    4 技术优势

    TDH产品的主要技术优势包括以下几个方面:
    ① 极致的性能与可扩展性
    TDH的批处理速度是开源Hadoop的10-100倍,是MPP的5-10倍,可以对从GB到PB级的数据量实现复杂的查询和分析。TDH具有高可扩展性,用户可以通过增加集群节点数量,线性提高系统的处理能力。
    ② 容器技术与大数据平台
    TDH支持部署于TOS之上。TOS是为大数据应用量身订做的云操作系统,基于Docker和Kubernetes,支持一键部署TDH、扩容、缩容,同时支持基于优先级的抢占式资源调度和细粒度资源分配。
    ③ 完整的SQL和ACID支持
    Transwarp Inceptor是第一个实现完整SQL支持的Hadoop发行产品。它不仅支持SQL 2003,Oracle PL/SQL以及DB2 SQL PL,还实现了完整的ACID和CRUD功能。TDH提供JDBC和ODBC驱动连接,方便第三方工具运行于TDH之上。
    ④ 低延迟的流处理
    Transwarp Slipstream是同时支持事件驱动和微批处理的流处理引擎,计算延迟最低可至5ms。它提供标准的SQL编程接口,还支持高可用性(HA)和Exactly-Once的语义,从而支持7x24小时的 生产业务。
    ⑤ 丰富的机器学习和深度学习功能
    Transwarp Discover支持用户通过R语言和Python开发机器学习项目,也可以用图形化的工具做分析。深度学习平台Sophon能 帮助用户快捷的创建AI应用程序。
    ⑥ 大数据上的全文搜索
    Transwarp Search支持通过SQL实现大数据上的秒级全文搜索,它利用层次化存储、堆外内存管理等创新性技术,极大的提高了系统的可用性。此外,Search还可以结合Inceptor提供较 强的数据分析能力。
    ⑦ 图形化的大数据开发工具套件
    Transwarp Studio是TDH中的大数据开发工具集,包括元数据管理Governor、工作流Workflow、数据整合工具Transporter,Cube设计工具Rubik以及报表工具Pilot。用户可以使用这些图形化工具来提高大数据的开发效率,降低技术门槛。
    ⑧ 多样化的数据处理功能
    Transwarp Hyperbase用于存储和计算结构化或非结构化数据,包括日志记录、JSON/XML文件以及二进制数据(如图像和视频)。Hyperbase底层是KV的数据库,因此其非常适合高频次的数据入库、高并发精确检索等业务。
    ⑨ 简易的操作和管理
    Transwarp Transwarp Manager是专门用于部署、管理和运维TDH集群的组件。它支持产品一键安装、一键升级和图形化运维,并提供了预警和健康检测功能,帮助用户简化运维过程。
    ⑩ 统一的安全/多租户管理
    Transwarp Guardian是TDH平台中实现安全控制和资源管理的中央服务平台,它支持Kerberos和LDAP认证,可以做细粒度的权限控制,并且提供租户管理功能。
    展开全文
  • Transwarp Inceptor 基于Spark的 高效分析引擎及其在行业的应用案例 星环信息科技上海有限公司 www.transwarp.io 来自于知名外企的创业团队 中国最久的企业级Hadoop核心开发团队 注册资金一千万元的高科技公司 比肩...
  • transwarp Slipstream 简介之实战应用

    千次阅读 2017-12-15 16:48:47
    Application间的资源隔离Exg:用户在基于某个App下的Stream时,只能在改App下查看该App下的StreamJob;当用户退出该App时,将无法查看其他App下的StreamJob只能查看当前App下的... 27.0.1.125,www.transwarp.io/home
  • 众所周知,星环(Transwarp)于2017年10月底正式对外公开社区版可供社区用户自行下载试用,社区版本与商业版本的主要区别如下图, 下面通过实际步骤与截图介绍如何一步一步搭建TDH集群,仅供参考。关于TDH的系列...
  • 星环大数据平台,Transwarp Data Hub v4.2Inceptor使用手册。
  • waterdrop、transwarp是什么?

    千次阅读 2019-09-09 16:10:50
    SQL集成开发环境---Waterdrop Waterdrop是为开发人员和数据库管理人员提供的数据库管理工具,可进行跨...Transwarp Manger是TDH开发的平台管理组件,用户可以通过该组件在浏览器上安装、部署、监控、管理和运维整个T...
  • transwarp 用于并发任务的仅头文件C 库
  • transwarp Slipstream 简介之高级功能

    千次阅读 2017-12-15 15:35:37
    1. 通过Transwarp Manager管理界面修改InceptorServer配置,添加”stream.driver.checkpoint.dir” 配置项,并将其设置为HDFS上的某个目录。配置完毕后,重启Inceptor。 2. 创建Application时需要指定Application...
  • 开启认证又遇到了问题,transwarp不能开单组件的安全认证,最后我们只能一键全开kerberos认证 2、用jdbcreader连接oracle数据库,jdbc bunch接收 报错 Task MAPRED-SPARK error SparkException: [Error 1] Job ...
  • Transwarp Inceptor使用Spark作为默认计算引擎,并且开发了完善的SQL优化器,因此在大量的客户案例性能测试中,Transwarp Inceptor的性能领先Map Reduce 10-100倍,并超越部分开源MPP数据库。SQL优化器对平台性能的...
  • //第一步 先把oracle中的数据导入到hdfs下面 执行导入命令之前 需要创建日志文件目录 /root/nantong_out/以及hdfs导入文件目录/jssdatas/nantong/ 其中/e_mp_cur_curve 目录会在导入语句中自动创建,不需要单独创建...
  • 本文分别从客户端和集群的视角,介绍了Transwarp Scope的查询的基本流程、基本原理、实现方式以及不同类型分区对查询速度带来的优化。
  • transwarp Slipstream 简介之DDL|DML

    千次阅读 2017-12-15 13:26:48
    • 手动在每个运行Executor的服务器上的 相同目录 下放置一份自己的keytab文件,然后,设置属性transwarp.consumer.security.protocol 值为 SASL_PLAINTEXT ,设置属性transwarp.consumer.sasl.kerberos.service....

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 860
精华内容 344
关键字:

transwarp