精华内容
下载资源
问答
  • 星环大数据
    2021-08-24 10:00:48

    前置条件

    从星环大数据平台下载kafka的配置文件。如下载的配置为kafka1,把该kafka1放入到/etc目录下并给kafka1目录进行如下赋权:

    chmod 755 -R /etc/kafka1
    
    配置环境变量

    在对应用户的环境变量中添加如下内容:

    export KAFKA_OPTS="-Djava.security.auth.login.config=/etc/kafka1/conf/jaas.conf -Djava.security.krb5.conf=/etc/kafka1/conf/krb5.conf -Dsun.security.krb5.debug=true"
    export KAFKA_HEAP_OPTS="-Djava.security.auth.login.config=/etc/kafka1/conf/jaas.conf -Djava.security.krb5.conf=/etc/kafka1/conf/krb5.conf -Dsun.security.krb5.debug=true"
    
    在consumer.properties、producer.properties添加如下内容

    进入TDH-Client/kafka/config目录下找到consumer.properties、producer.properties,然后在两个文件中添加如下内内容:

    security.protocol=SASL_PLAINTEXT
    sasl.mechanism=GSSAPI
    sasl.kerberos.service.name=kafka
    

    使用TDH-Client操作kafka的Topic

    以下所有命令都是在进入到TDH-Client/kafka/bin目录执行的。

    创建topic
    ./kafka-topics.sh --create --zookeeper localhost:2181 --topic testwel --replication-factor 1 --partitions 1
    
    #查看test主题详细信息
    ./kafka-topics.sh --zookeeper localhost:2181  -describe -topic testwel
    
    向主题写入数据
    #交互式写入
    ./kafka-console-producer.sh --broker-list localhost:9092 --topic testwel --producer.config ../config/producer.properties
    

    hello.txt的内容如下:

    1,2,3,4
    1,2,3,4
    1,2,3,4
    1,2,3,4
    1,2,3,4
    
    #把文件数据写入kafka
    ./kafka-console-producer.sh --broker-list localhost:9092 --topic testwel --producer.config ../config/producer.properties < hello.txt
    
    从主题读书据
    ./kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic testwel --consumer.config ../config/consumer.properties --from-beginning
    
    更多相关内容
  • centos7.2安装星环大数据平台TDH操作手册
  • 星环Waterdrop使用方法,基于星环大数据平台的Waterdrop,了解Waterdrop的基本功能和使用,内部培训文档
  • 星环ES使用方法,基于星环大数据平台的Elasticsearch,了解Elasticsearch的基本功能和使用,内部培训文档
  • 星环InceptorSQL使用方法,基于星环大数据平台的InceptorSQL,了解InceptorSQL的基本功能和使用,内部培训文档
  • 星环大数据平台_Flume使用方法,基于星环的大数据平台开发手册,flume使用方法,hadoop大数据平台,内部培训文档
  • 星环Sqoop使用方法,基于星环大数据平台的Sqoop,了解Sqoop的基本功能和使用,内部培训文档
  • 星环大数据平台HDFS

    2019-03-25 17:24:00
    星环大数据平台HDFS,操作手册,基于星环大数据平台的指导手册,官方培训资料,仅供参考,具体HDFS学习请阅读《hadoop权威指南》
  • 星环Slipstream使用方法,基于星环大数据平台的Slipstream,了解Slipstream的基本功能和使用,内部培训文档
  • 星环HBASE使用方法,基于星环大数据平台的hbase,了解HBASE的基本功能和使用,内部培训文档
  • 星环大数据介绍.pdf

    2021-10-14 07:48:09
    星环大数据介绍.pdf
  • 星环大数据介绍.pptx

    2021-10-14 07:48:30
    星环大数据介绍.pptx
  • 星环大数据平台权威指南,国内大数据平台,hadoop,spark等大数据技术入门介绍,星环内部培训资料
  • 星环大数据解决方案

    2018-12-11 10:00:45
    星环老板的大数据解决方案,星环老板的大数据解决方案,
  • 原标题:(星环大数据平台介绍,盘点星环大数据和华为大数据)星环科技自成立之初,就集中在大数据平台的研发上,随着产品家族的不断完善,2018年星环科技发布了分布式闪存数据库ArgoDB,分布式图数据库StellarDB,...

    原标题:(星环大数据平台介绍,盘点星环大数据和华为大数据)

    星环科技自成立之初,就集中在大数据平台的研发上,随着产品家族的不断完善,2018年星环科技发布了分布式闪存数据库ArgoDB,分布式图数据库StellarDB,大数据产品版图更加完善。第三届前沿科技论坛现场,星环科技发布了最新的大数据产品架构图,将分布式闪存数据库ArgoDB,分布式图数据库StellarDB纳入TDH大数据平台,更新之后的大数据平台采用统一的计算引擎和存储引擎,可以处理所有类型数据,适配各种应用场景,TDH成为功能更加全面的一站式大数据综合平台。

    星环的一站式大数据平台Transwarp Data Hub在海内外部署了20000个节点,存储了130PB的数据量,支撑了20多个行业的3000多个截然不同的应用。Transwarp Data Hub主要提供5类核心产品:分析型数据库(Transwarp Inceptor和Transwarp ArgoDB),实时流计算引擎(Transwarp Slipstream),知识库(Transwarp Search和Transwarp StellarDB),操作型数据库(Transwarp Hyperbase),数据科学平台(Transwarp Discover)。通过部署、安装、使用TDH,企业能够更有效的利用数据构建核心商业系统,加速商业创新。

    星环科技分布式闪存数据库Transwarp ArgoDB是一款全自主研发的数据库产品,可以用来支撑在线统计,在线分析,即席查询,多维度数据检索等业务的分析型数据库。采用了星环统一的计算引擎以及统一的存储管理系统,同时对闪存针对设计的存储格式,取代了传统的Hadoop+MPP的结构。

    Transwarp StellarDB是一款为企业级图应用而打造的分布式图数据库,用于快速查找数据间的关联关系,并提供强大的算法分析能力。StellarDB克服了海量关联图数据存储的难题,实现了传统数据库无法提供的低延时多层关系查询,支持企业级图数据的存储、查找、分析和展现。StellarDB在很多行业都有广泛的应用,包括电商、金融、公安和社交网络领域等。

    星环科技实时流计算引擎Transwarp Slipstream整合了SQL,PLSQL,规则引擎,复杂事件处理,数学公式计算等多种业务接口,与ArgoDB配合可以支持实时数据跨时间窗口的分析以及实时数据与历史数据的关联分析。

    Transwarp Search用于在企业内部构建大数据搜索引擎。Search支持非结构化数据格式的存储和检索,单机容量可达50TB。Search中的时空数据库模块为空间数据和时空数据提供高效的存储、检索和分析计算服务,提供针对轨迹类型的复杂查询,支持地理信息检索。

    星环科技创始人、CEO孙元浩表示,现在在大数据领域主要存在包括星环科技在内的三条技术路线,随着大数据技术的不断发展,预计在未来三到五年内,会发展为仅剩一到两条技术路线。星环科技坚持以数据、应用、智能融合的数字化PaaS数据云平台为技术研发重心,并不断加强自主研发的投入,凭借自身超前的技术眼光和产品落地能力,得到业内外的瞩目和尊重,作为大数据技术引领者,孙元浩表示,希望未来星环科技可以成为仅存的两到三家大数据基础软件供应商之一。

    原标题:(星环大数据平台介绍,盘点星环大数据和华为大数据)

    展开全文
  • 星环大数据

    2018-07-12 14:17:00
    星环科技的产品名为Transwarp Data Hub,它 包含一整套Hadoop组件,星环科技还为Transwarp Data Hub配备 了星环独有的NoSQL搜索引擎、批量分析组件、流处理组件和数据挖 掘组件。Transwarp Data Hub支持Docker和...
  • 基于星环科技大数据云平台 Transwarp Data Cloud(TDC)、星环大数据开发工具 Transwarp Data Studio (TDS)等产品的星环数据湖解决方案,能够一站式解决企业从建湖到管湖全部过程,为企业管理和决策提供数据基础...

    随着互联网以及物联网等技术的不断发展,越来越多的数据被生产出来。基于 IDC 的报告预测,从 2013 年到 2020 年,全球数据量会从 4.4ZB 猛增到 44ZB,而到了 2025 年,全球会有 163ZB 的数据量,这些数据中蕴藏着不可估量的价值,从数据中挖掘价值创造新业务已经成为所有企业的共识。然而,挖掘数据价值第一步,是要先把企业全域数据汇聚起来,让数据真正成为企业的核心资产。于是,企业级数据湖的建设,成为数据价值逐渐释放的关键底座。

    最初企业开始自建开源 Hadoop 数据湖架构,原始数据统一存放在 HDFS 系统上,引擎以 Hadoop 和 Spark 开源生态为主,存储和计算一体。这种数据湖架构存在入门门槛高、开发维护困难、稳定性难以保障等明显的缺点。企业急需一套一站式解决所有从数据湖建设到数据湖管理的解决方案。

    基于星环 TDC

    一站式建湖、入湖、治湖、用湖、管湖

    一个完整的数据湖解决方案需要建立在数据接入、数据存储、数据计算、数据应用、数据治理、元数据、数据质量、数据资源目录、数据安全及数据审计等一些列技术之上。市场上的数据湖解决方案多数只具备部分能力,给企业建设数据湖带来障碍。

    基于星环科技大数据云平台 Transwarp Data Cloud(TDC)、星环大数据开发工具 Transwarp Data Studio (TDS)等产品的星环数据湖解决方案,能够一站式解决企业从建湖到管湖全部过程,为企业管理和决策提供数据基础与分析能力保障,助力企业发展。

    在数据入湖阶段,星环科技大数据整合工具 Transporter 负责将分散于各个地方、各种平台上的各种格式的数据同步或集成到大数据平台上,通过简洁、统一的可视化界面快速配置数据流转流程,实现异构平台和数据湖之间的数据流转。

    数据湖本身是一个中心化的存储,需要存储结构化、半结构化和非结构化数据。星环极速大数据平台 Transwarp Data Hub (TDH ) 内置关系型数据存储引擎、宽表存储引擎、搜索引擎、地理空间存储引擎、图存储引擎、键值存储引擎、事件存储引擎和时序存储引擎8 种独立的存储引擎,支持业界主流的 10 种存储模型。用户还可以根据业务的需要随时增减不同的存储引擎,做到资源按需分配,解决数据湖多模态数据存储。

    TDC 数据湖核心组件关系型分析引擎 Inceptor,具有完整的 SQL 支持、超高性能、分布式事务和混合负载支持的强大能力,支持多种数据格式、多种数据加载方式、海量多源异构数据的统一存储和管理;宽表数据库 Hyperbase,面向在线业务的数据库,提供数据的实时增删查改能力,并能确保库内数据的一致性;搜索引擎 Scope 用于构建大数据搜索引擎,支持Word/Excel/PDF/CSV/互联网数据/图片/音影等非结构化数据格式的存储和检索;能够在PB数据量级上实现秒级延迟的搜索功能;提供完整的 SQL 语法支持;实时流计算引擎Slipstream 提供实时计算能力,拥有完整的 SQL 支持,基于事件驱动的计算引擎可将延迟时间缩减到 5 毫秒以内。

    在数据安全及数据审计能力上,基于星环科技安全组件 Guardian,TDC 数据湖可为租户提供可靠的认证机制,防范安全漏洞,实现资源管理和行级列级的权限控制,在云环境下保护用户隐私和信息安全。

    在数据治理、元数据、数据质量、数据资源目录等能力上,星环科技提供了集开发与治理为一体的一站式工具平台 TDS,提供了数据开发、数据集成、数据管控、数据商城和数据服务等能力。TDS 的子产品涵盖了:面向数据库 SQL 程序开发者的桌面集成开发环境 Waterdrop、网页版的团队协作的 SQL 开发环境 SQLBook、可视化的 ETL 开发工具Transporter、数据计算任务的调度平台 Workflow、数据可视化工具 Pilot 、数据 API 的开发与管理工具 Midgard以及数据资产管理工具软件 Catalog、数据质量管理工具 Governor、数据安全治理工具Transwarp Defensor、数据商城 Transwarp Foresight、数据服务开发工具 Midgard 和标签开发工具 StarViewer。

    星环 TDC 数据湖解决方案

    在上海市大数据中心的落地实战

    基于星环数据云平台 TDC 为上海市大数据中心建设了上海市数据共享交换平台,上海市数据共享交换平台整体上包含市级数据共享交换子系统(含数据交换子系统、数据服务子系统、数据集成子系统等)、市级数据湖、市级数据库、市级数据治理子系统、市级数据质量管理子系统等业务模块。其中:数据交换子系统实现数据交换引擎、统一调度引擎、任务管理、数据桥接等功能;市级数据湖汇聚“四大库”、“市级统建系统”、“各市级委办系统”、“各行政区系统”的经过初始治理的原始数据;数据集成子系统实现对数据湖数据的存储管理、共享与交换,推送数据到治理平台,并建立与市级数据库的连接;数据治理子系统与数据质量管理子系统实现数据元管理与数据质量管理;市级数据库主要用于存放经过一系列清洗、转换、加载、治理步骤后的高质量的政务数据资源,其数据来源主要来自数据湖;数据服务子系统主要提供市级数据库中数据对外的服务发布与利用。

    基于星环 TDC 建设的市级数据湖、市级数据库,支撑“一网通办”、“市民主页”、随申码等数据服务。疫情期间,基于TDC一周内上线随申码,日均查询次数峰值达715 w,上线仅四个半月,亮码总次数达到10 亿+。

    目前,星环科技新一代智能大数据云平台 Transwarp Data Cloud(TDC)已经在众多行业有成熟的全方位解决方案落地,满足了各种数据处理场景的需求,实现了企业数据与应用的生态化建设。未来星环将在数据云领域持续深耕,助力企业不断提升大数据能力,引领企业数字化转型升级浪潮。

    展开全文
  • 原标题:华为和星环大数据平台关键能力对比(附报告)最近几天和Gartner报告干上了,报告看得越多,越发现自己的无知。但我不仅仅看存储的报告,有时候也看看公有云的,甚至大数据的。今天就来聊聊大数据平台关键能力...

    原标题:华为和星环大数据平台关键能力对比(附报告)

    最近几天和Gartner报告干上了,报告看得越多,越发现自己的无知。

    但我不仅仅看存储的报告,有时候也看看公有云的,甚至大数据的。今天就来聊聊大数据平台关键能力报告。

    前段时间,华为的FusionInsight大数据平台进入Gartner象限,我写过一篇博客

    其实,针对这个魔力象限,Gartner一般会配套一个产品关键能力的评估报告,这不,我找到了这份报告,分享给大家。大家点击文后的链接即可

    由于中国有两个公司入围,华为和星环,因此,我们重点来看看它们的表现。

    了解Gartner关键能力评估方法的用户都知道,评估是分场景的。

    Gartner把大数据分析平台分成四个典型场景:传统的数据仓库、运营的数据仓库、逻辑的数据仓库、上下文独立的数据仓库。

    而大数据分析平台的关键能力有10个。不同的场景对不同的能力有不同的权重要求。传统数据仓库看重查询优化和传统数据仓库使用这两个特性,而运营数据仓库看重运营BI使用,逻辑数据仓库关注查询多个数据源的能力,而上下文独立数据仓库看重管理大量的数据和查询支持分析能力。

    Gartner对这些大数据平台按照10个关键能力分别进行了评分。我们看到,华为在查询优化和多数据源查询比星环得分高些,而星环在运营BI使用和管理上比华为得分高些。

    把上面两个表格相乘,就可以得出各家在不同场景的总分。我们看到,四个场景,有三个华为得分比星环高,星环只在运营数据仓库场景比华为得分高。

    图形化各个场景的产品排名,就是下面这四个图了:

    我们看到,Teradata在四个场景都是标杆啊。总体来说,中国的两个公司,华为和星环的场景排名基本都在全球的中下水平。说明这块我们离一流水平还有不少差距。不过,中国的市场有很多特色的地方,比如行业特色,中国特色。国外的产品到国内多少有点水土不服的问题,因此,我还是比较看好这两个小老虎未来的表现。

    由于大数据这块我基本不懂,因此就不展开评价了。今天写这个博客,主要目的还是给大家分享这份报告而已,O(∩_∩)O哈哈~

    周末愉快。天气太热了,我去切西瓜去了。返回搜狐,查看更多

    责任编辑:

    展开全文
  • 星环大数据incepter简易指南 部分一 sql: 查看系统表: select * from system.tables_v; 查看视图: select * from system.views_v; 扩展:从此系统视图中可以找出其他系统表, 如分区表、表空间、过程表等等,...
  • 1、查看 kafka 消费者组:kafka-consumer-groups.sh --list --bootstrap-server bigdata-slave3:9092 --command-config /opt/TDH-Client/kafka/config/consumer.properties 2、查看 kafka 数据积压:kafka-consumer-...
  • 星环kafka使用方法,基于星环大数据平台的kafka,了解kafka的基本功能和使用,内部培训文档
  • 星环大数据一体机

    2018-05-29 15:48:27
    星环Transwarp 超融合大数据一体机TxData,企业级Hadoop一体化系统
  • 本篇推文共计1500个字,阅读时间约3分钟。2020年3月,有幸参与了星环科技大数据架构师的培训认证。在范颖捷老师的授课中,感慨颇多。今天我根据学习到的部分知识谈谈自己的心得体会。在谈培...
  • 星环大数据方案介绍.pptx
  • 星环大数据使用经验总结

    千次阅读 2018-09-05 16:59:31
    因为HIVE主要语法是按照mysql习惯,本人用Oracle比较多,所以对一些执行过的操作进行记录总结,以防日后忘记。 一、创建表语句 USE DSDSJ; create table RESOURCEDB_DM_SMBS_YZTJ ( smbs_yztj_dm STRING not ...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 3,361
精华内容 1,344
关键字:

星环大数据

友情链接: EzCad2.5.2.rar