精华内容
下载资源
问答
  • 星环大数据开发
    2021-09-23 13:43:56

    随着互联网以及物联网等技术的不断发展,越来越多的数据被生产出来。基于 IDC 的报告预测,从 2013 年到 2020 年,全球数据量会从 4.4ZB 猛增到 44ZB,而到了 2025 年,全球会有 163ZB 的数据量,这些数据中蕴藏着不可估量的价值,从数据中挖掘价值创造新业务已经成为所有企业的共识。然而,挖掘数据价值第一步,是要先把企业全域数据汇聚起来,让数据真正成为企业的核心资产。于是,企业级数据湖的建设,成为数据价值逐渐释放的关键底座。

    最初企业开始自建开源 Hadoop 数据湖架构,原始数据统一存放在 HDFS 系统上,引擎以 Hadoop 和 Spark 开源生态为主,存储和计算一体。这种数据湖架构存在入门门槛高、开发维护困难、稳定性难以保障等明显的缺点。企业急需一套一站式解决所有从数据湖建设到数据湖管理的解决方案。

    基于星环 TDC

    一站式建湖、入湖、治湖、用湖、管湖

    一个完整的数据湖解决方案需要建立在数据接入、数据存储、数据计算、数据应用、数据治理、元数据、数据质量、数据资源目录、数据安全及数据审计等一些列技术之上。市场上的数据湖解决方案多数只具备部分能力,给企业建设数据湖带来障碍。

    基于星环科技大数据云平台 Transwarp Data Cloud(TDC)、星环大数据开发工具 Transwarp Data Studio (TDS)等产品的星环数据湖解决方案,能够一站式解决企业从建湖到管湖全部过程,为企业管理和决策提供数据基础与分析能力保障,助力企业发展。

    在数据入湖阶段,星环科技大数据整合工具 Transporter 负责将分散于各个地方、各种平台上的各种格式的数据同步或集成到大数据平台上,通过简洁、统一的可视化界面快速配置数据流转流程,实现异构平台和数据湖之间的数据流转。

    数据湖本身是一个中心化的存储,需要存储结构化、半结构化和非结构化数据。星环极速大数据平台 Transwarp Data Hub (TDH ) 内置关系型数据存储引擎、宽表存储引擎、搜索引擎、地理空间存储引擎、图存储引擎、键值存储引擎、事件存储引擎和时序存储引擎8 种独立的存储引擎,支持业界主流的 10 种存储模型。用户还可以根据业务的需要随时增减不同的存储引擎,做到资源按需分配,解决数据湖多模态数据存储。

    TDC 数据湖核心组件关系型分析引擎 Inceptor,具有完整的 SQL 支持、超高性能、分布式事务和混合负载支持的强大能力,支持多种数据格式、多种数据加载方式、海量多源异构数据的统一存储和管理;宽表数据库 Hyperbase,面向在线业务的数据库,提供数据的实时增删查改能力,并能确保库内数据的一致性;搜索引擎 Scope 用于构建大数据搜索引擎,支持Word/Excel/PDF/CSV/互联网数据/图片/音影等非结构化数据格式的存储和检索;能够在PB数据量级上实现秒级延迟的搜索功能;提供完整的 SQL 语法支持;实时流计算引擎Slipstream 提供实时计算能力,拥有完整的 SQL 支持,基于事件驱动的计算引擎可将延迟时间缩减到 5 毫秒以内。

    在数据安全及数据审计能力上,基于星环科技安全组件 Guardian,TDC 数据湖可为租户提供可靠的认证机制,防范安全漏洞,实现资源管理和行级列级的权限控制,在云环境下保护用户隐私和信息安全。

    在数据治理、元数据、数据质量、数据资源目录等能力上,星环科技提供了集开发与治理为一体的一站式工具平台 TDS,提供了数据开发、数据集成、数据管控、数据商城和数据服务等能力。TDS 的子产品涵盖了:面向数据库 SQL 程序开发者的桌面集成开发环境 Waterdrop、网页版的团队协作的 SQL 开发环境 SQLBook、可视化的 ETL 开发工具Transporter、数据计算任务的调度平台 Workflow、数据可视化工具 Pilot 、数据 API 的开发与管理工具 Midgard以及数据资产管理工具软件 Catalog、数据质量管理工具 Governor、数据安全治理工具Transwarp Defensor、数据商城 Transwarp Foresight、数据服务开发工具 Midgard 和标签开发工具 StarViewer。

    星环 TDC 数据湖解决方案

    在上海市大数据中心的落地实战

    基于星环数据云平台 TDC 为上海市大数据中心建设了上海市数据共享交换平台,上海市数据共享交换平台整体上包含市级数据共享交换子系统(含数据交换子系统、数据服务子系统、数据集成子系统等)、市级数据湖、市级数据库、市级数据治理子系统、市级数据质量管理子系统等业务模块。其中:数据交换子系统实现数据交换引擎、统一调度引擎、任务管理、数据桥接等功能;市级数据湖汇聚“四大库”、“市级统建系统”、“各市级委办系统”、“各行政区系统”的经过初始治理的原始数据;数据集成子系统实现对数据湖数据的存储管理、共享与交换,推送数据到治理平台,并建立与市级数据库的连接;数据治理子系统与数据质量管理子系统实现数据元管理与数据质量管理;市级数据库主要用于存放经过一系列清洗、转换、加载、治理步骤后的高质量的政务数据资源,其数据来源主要来自数据湖;数据服务子系统主要提供市级数据库中数据对外的服务发布与利用。

    基于星环 TDC 建设的市级数据湖、市级数据库,支撑“一网通办”、“市民主页”、随申码等数据服务。疫情期间,基于TDC一周内上线随申码,日均查询次数峰值达715 w,上线仅四个半月,亮码总次数达到10 亿+。

    目前,星环科技新一代智能大数据云平台 Transwarp Data Cloud(TDC)已经在众多行业有成熟的全方位解决方案落地,满足了各种数据处理场景的需求,实现了企业数据与应用的生态化建设。未来星环将在数据云领域持续深耕,助力企业不断提升大数据能力,引领企业数字化转型升级浪潮。

    更多相关内容
  • 星环Waterdrop使用方法,基于星环大数据平台的Waterdrop,了解Waterdrop的基本功能和使用,内部培训文档
  • 星环大数据介绍.pdf

    2021-10-14 07:48:09
    星环大数据介绍.pdf
  • 星环大数据平台_Flume使用方法,基于星环的大数据平台开发手册,flume使用方法,hadoop大数据平台,内部培训文档
  • 1.自我介绍 2.问有没有用Java8做过项目 3.有没有自己学过大数据或者人工只能 语言基础 1.Java基础类型哪几种 2.拆装箱什么时候发生

    星环科技大数据后台开发实习岗位(Java相关)

    1.自我介绍

    2.问有没有用Java8做过项目

    3.有没有自己学过大数据或者人工智能

     

    语言基础

    1.Java基础类型哪几种

    2.拆装箱什么时候发生

    问:

    int a = 1;
    
    Integer b = 1;
    
    a == b 
    
    return true
    
    

    包装类在与基本类型在进行数值比较时:包装类会自动拆箱成对应的基本类型数据

    如上代码在进行比较时,Integer类型会拆箱成int类型

    
    int a = 1;
    
    Integer b = new Integer(1);
    
    a == b 
    
    return true

    3.关于堆栈的存储

    int a = 1 存在堆里还是栈里?

    根据申明的地方:

    • 如果是作为局部变量local variable,是存在stack里
    • 如果是作为成员变量field,存在heap里

    追问:

    如果是有一个static的成员变量,他存在哪里?

    方法区,当时回答的heap(真的是晕)

    补充一点:

    • 堆区(heap) 用于存放所有对象,是线程共享的 (数组也属于对象)
    • 栈区(stack) 用于存放基本数据类型的数据和对象的引用,是线程私有的(分为虚拟机栈和本地方法栈)
    • 方法区(method) 用于存放类的信息、常量、静态变量、编译后的字节码等,是线程共享的(也被称为非堆,即 None-Heap,还叫静态存储区)
    • 作者:Draper
      链接:https://www.jianshu.com/p/6fd101e56071
      来源:简书

    4.了解final关键字

    • final变量,不能被reassigned
    • final方法,不能被overridden
    • final类,不能被inherited

    追问:final Map<> m = new HashMap<>(); final修饰一个成员变量

    • 能不能把另外一个map赋值给m?map = new HashMap<>(); 不能
    • 能不能对m进行put操作?可以m作为reference存在stack中,final表示reference不能修改,但是m指向的内存中的值是可以修改的

     

    举一个🌰:

    一个男孩(class),他的女票(field)国家分配的,不可变的final

    第一次,我们这个男孩交了一个女票名叫taylor,这时候男孩想换一个叫gaga的新女票,国家肯定不允许(会报错)

    第二次,他学乖了,不换女票了,他直接拿户口本到派出所,给女票改了一个名字叫“gaga”,这下国家也没话可说(运行通过),于是他可以愉快的跟这个叫gaga的女票继续生活下去

    面向对象:

    5.说一说自己对面向对象和面向过程的理解

    面向过程,自己造电脑。面向对象,自己组装电脑。

    面向过程,先具体逻辑细节,后抽象问题整体;面向对象,先抽象问题整体,后具体逻辑细节

    函数,对象(变量+方法)

    面向对象可以

    6.接口和抽象类的区别

    7.Java8中的default实现

    多线程:

    8.多线程的几个状态

    9.synchronised的底层实现,没答上来

    10了解volatile吗?能解决什么问题?具体场景

    网络编程:

    11.Java网络编程写过吗?比如socket编程

    12用哪些通信方式使客户端之间可以通信?

    13写web用到什么什么框架?Spring or springboot?Spring的注解service、component、bean?看过Spring的源码吗?

    jdk源码

    14jdk的源码看过吗?arraylist继承了什么类或者实现类什么接口?

    用arraylist 移除掉(remove)某个下标的数据,怎么实现的,时间复杂度多少

    用linkedlist呢?

    数据库

    15mysql存储引擎的存储的数据结构不同,有了解吗?

    16b tree和b+tree的区别

    17用什么方式判断,检查sql走没走索引?执行替换相关

    18分页查询写过吗?

     

    关于网络编程,多线程和数据库的很多地方没答上来,后面还需要好好学习🙃

     

     

     

     

     

     

     

    展开全文
  • 星环大数据产品和技术介绍 2020/5/4 1 星环科技公司简介 2020/5/4 2 星环信息科技公司介绍 中国最久 国内技术最领先 No.1 300% 大数据/数据库基础软件 中国落地案例最多 年营业额和客户增长 Hadoop核心开发团队 支持...
  • 本篇推文共计1500个字,阅读时间约3分钟。2020年3月,有幸参与了星环科技大数据架构师的培训认证。在范颖捷老师的授课中,感慨颇多。今天我根据学习到的部分知识谈谈自己的心得体会。在谈培...

    本篇推文共计1500个字,阅读时间约3分钟。

    2020年3月,有幸参与了星环科技大数据架构师的培训认证。在范颖捷老师的授课中,感慨颇多。今天我根据学习到的部分知识谈谈自己的心得体会。

    在谈培训心得之前,我得先向大家介绍一下向我提供星环大数据架构师的培训认证的

    [星环科技公司]

    图片来源:星环科技官网

    星环科技是大数据基础平台供应商,专注于提供企业级容器云计算、大数据和人工智能核心平台的研发和服务,打造大数据和人工智能生态的“中国心”。

    公司以上海为总部,以北京、广州、多伦多为区域总部,并在南京、郑州、成都设有支持中心,同时在深圳、武汉等地设有办事机构。

    图片来源:星环科技培训官网

    经过多年自主研发,星环科技建立了三条产品线:一站式大数据平台Transwarp Data Hub(TDH)、基于容器的云操作系统Transwarp Operating System(TOS)和超融合大数据一体机TxData Appliance,并拥有多项专利技术。

    图片来源:星环科技官网

    2016年被Gartner评为全球最具有前瞻性的数据仓库及数据管理解决方案厂商,2017年被IDC评为中国大数据市场领导者。公司产品已经在十多个行业应用落地,是国内落地案例较多的大数据和人工智能平台供应商。

     

    目前星环科技已完成D2轮融资,由腾讯领投。

    图片来源:星环科技培训官网

    架构师

    言归正传,可能很多人知道码农是码代码的程序员,但是对架构师的概念确实一头雾水。

    通过这段时间的学习,我了解到架构师这个职业主要工作任务不再是做具体代码编写,而是负责更高层次的开发构架工作。因为一个架构师工作能力的强弱以及专业素养的高低可能决定了整个软件项目的成败,所以作为架构师,他必须对开发技术非常了解,并且需要有良好的组织管理能力以及责任心。

    图片来源:星环科技培训官网

    培训流程

    整个星环大数据架构师的培训认证流程以线上直播的形式,结合实践案例,由浅入深地向我们展示了星环科技针对不同需求而推出的行业解决方案。

    如果直播没有听懂的话,还可以登录培训认证官网

    http://university.transwarp.cn/

    进行回放,这一点对初学者来说很棒。

    课程中向我们介绍的行业解决方案中包括:

    • 星环产品体系&一站式大数据平台TDH

    • 星环新一代逻辑数据仓库解决方案

    • 星环高性能数据集市解决方案与典型案例

    • 星环统一架构解决方案

    • 星环智能实时流处理解决方案与典型案例

    • 星环大规模综合搜索解决方案

    • 星环新一代交易型数据库解决方案

    • 星环智能物联解决方案与典型案例

    • 星环实体画像解决方案与典型案例

    • 星环知识图谱解决方案与典型案例

    • 星环数据云解决方案与典型案例

    图片来源:星环科技培训官网

    虽然初期听起来一头雾水,但是结合实际解决方案案例讲解的时候往往能理解开始的疑惑,加深了自己对这部分知识的理解。

    图片来源:星环科技培训官网

    课下,同学们的学习热情也很棒,一直会在学习群中交流学习心得,感受其它同学们的学习氛围,我也默默地坚持在学习。

    学习完后,我就参加了星环科技提供的线上考试,整场考试时间一共两个小时,题型分为单选,多选,以及简答题。选择题大概20几道,简单题大概有5道。可以说考试难度还是比较大的,非常考验对所学知识和实际案例的理解。希望可以顺利过关。

    星环科技大数据架构师的培训除了教会我大数据架构师的知识,整个培训让我明白了三件事情:

    • 架构师是干嘛的?

    • 大数据项目如何根据需求做好解决方案?

    • 作为架构师应该如何推进项目以及把控风险?

    架构,越是简单抽象的定义,越是美,越是通用。

    小到一个玩具,大到一个国家的运作都可以隐含着这样的内容。

    最后由衷感谢星环科技,感谢范颖捷老师为我们提供的这次培训,虽然培训时间较短,但这为我今后的职业生涯规划产生了深远的影响。如果有机会真希望可以去参观星环科技总部,感受数据跳动的魅力。

    图片来源:星环科技官网

    往期回顾

    中国抗疫图鉴

    经典 | Python实例小挑战—Part four

    经典 | Python实例小挑战—Part three

    经典 | Python实例小挑战—Part two

    经典 | Python实例小挑战—Part one

    疫情防控加速AI在医疗领域的发展及应用

    不能见面的情人节,我体验了一次视频相亲

    10天,看火神山医院是如何建成的

    武汉加油,中国加油!

    欢迎各位读者在下方进行留言

    ☆ END ☆

    你与世界

    只差一个

    公众号

    喜欢本推文的话麻烦你点个“在看”或“分享至朋友圈”

    展开全文
  • 星环科技大数据基础平台TDH采用领先的多模型技术架构,实现了五个统一,从根本上解决了运维难的问题。同时,结合全套大数据管理组件实现了一站式集群资源维护管理和全场景运维应用覆盖,提供完整的大数据运维体系,...

    日前,星环科技发布了大数据基础平台TDH8.1.0,新版本围绕页面布局重构,集群升级和超大集群管理能力等方面进行了全新升级,极大程度地提升了用户数据开发管理体验。那今天这篇文章将带领大家从运维视角来进一步了解星环科技TDH。

    数字化转型中的拦路虎——数据平台的运维难

    随着数字化转型的深入和企业的快速发展,企业在数据融合创新过程中,通常会针对不同的项目场景配备不同的数据模型,例如时序数据、点边图数据、消息队列等。虽然引入不同的数据模型可以解决不同场景的问题,但使用多种单模型数据库将会导致数据冗余、数据一致性治理难、资源配置难等一系列问题。同时,多产品的语言与接口不统一,极大地增加了运维压力与运维成本。

    近年来,越来越多的企业逐渐意识到:未来的大数据平台,既要为不同的项目场景配置不同的数据模型以保障其高性能,又要让数据操作和运维更便捷、更统一。因此在一个统一平台中多种数据模型并用变得越来越流行。早期的多模型数据平台实现路径,仅仅简单地将多个单一模型数据库组合在一个软件系统中,但这仅仅是界面的统一,底层多个数据库开发语言不一致,运维起来较困难,排障的效率较低,成本较高。

    此外,针对数据平台的运维通常会出现如下几种情况:

    ●没有统一运维入口,传统的查询运维难以完成指标数据的可视化,易缺乏或遗漏关键监测指标;

    ●由于日志格式非结构化,海量日志的处理十分复杂,急需强大的搜索能力和聚合能力;

    ●动态调度、弹性扩容:数据碎片化、监控对象粒度庞大的情况下,自动化监控实现渺茫,从而导致故障发现滞后,实时性无法保障。

    原创多模型架构——从根本上解决运维难的问题

    星环科技大数据基础平台TDH采用领先的多模型技术架构,其原创的分层架构设计提供统一的接口层,统一的计算引擎层,统一的分布式存储管理层,统一的资源调度层,以及支持10种数据存储模型的异构存储引擎层。一站式多模型数据管理架构实现了对海量数据的统一管理与集群服务的统一运维,大幅降低了综合成本,从根本上解决了数据平台运维难的问题。

    基于统一的SQL编译器Transwarp Quark,我们只需要简单的SQL语句即可完成各种复合跨模型数据查询,无需访问不同接口即可操作不同的数据模型。对于场景切换、数据库切换而造成接口、开发语言切换的问题就不存在了,技术对接更加容易,运维更加简单。

    统一的分布式计算引擎Transwarp Nucleon根据不同的存储引擎自动匹配高性能算法,不再需要手工干预,可以快速实现垮库关联,避免数据导入导出的麻烦。

    异构存储引擎层通过8种独立的存储引擎支持10种存储模型,满足多变,高阶的数据分析需求,用户可以根据业务的发展随时按需增减存储引擎,避免重新设计开发增加后续运维和排障难度。

    统一的分布式存储管理系统为不同存储引擎提供公共的存储管理服务,保障数据一致性,实现数据统一管理运维和高可用。

    统一的资源调度层TCOS是星环科技自主研发的云原生操作系统,提供统一的资源调度框架,通过容器化编排,能够统一调度计算、存储、网络等各基础资源。其适配了多种主流的CPU架构和多种操作系统,支持不同硬件、不同操作系统的服务器混合部署,用户不用担心新旧设备兼容性问题。此外,TCOS还支持灵活、按需的异构硬件(X86,ARM混合部署)、异构操作系统的水平扩展,支持单独扩展计算或存储资源的水平扩展,避免因业务数据增长带来的资源紧张而需进行繁琐的扩容、迁移等工作。

    星环科技大数据基础平台TDH的多模型技术架构实现了以上五个统一,简化了数据平台架构,降低企业运维成本,在架构设计方面就从根本上解决了数据平台运维难的问题。

    全套大数据管理组件——让运维更高效、更便捷、更智能

    多模型技术架构带来运维便利性的同时,星环科技大数据基础平台TDH还配置强大的全套大数据管理组件,让系统的资源维护管理,全场景监控和告警,问题识别和定位,安全防卫等工作变得更统一、更便捷,帮助用户实现高效运维、便捷运维和智能运维的生效目标。

    一站式资源维护管理

    Transwarp Manager是TDH8.1.0 的大数据管理平台,支持集群的图形化安装、管理与升级等服务,让资源维护管理工作更加便捷高效。

    一键图形化安装—Transwarp Manager支持图形化界面,用户只需几个手动步骤就可以在x86、ARM、MIPS等各架构服务器或基于Docker的云端平台上完成集群一键部署。

    图形化安装

    可视化集群管理—TDH 8.1.0支持对节点/集群/服务进行可视化管理,监控和优化,用户可以按需添加、删除节点、停止或启动角色服务等,让大数据集群管理工作更加便捷。

    为已有服务添加角色

    不间断平滑升级—TDH 8.1.0 基于TCOS容器化集群操作系统,支持在不停服、不中断业务的情况下完成平台的平滑升级。除此之外,TDH 8.1.0还提供平台补丁功能,相对于整体升级,做到了更轻量级、对业务无感知的在线维护。其提供平台及产品升级维护统一操作入口,全流程一键完成。同时,TDH 8.1.0支持版本升级回溯,让系统更加安全可控。

    平台补丁

    此外,Transwarp Manager还提供用户和账号管理,许可证管理,高可用性管理,集群巡检等功能,使用户日常运维和安全运维更加便捷。

    全场景运维应用覆盖

    TDH8.1.0 的智能运维分析平台Transwarp Aquila拥有强大的运维数据采集能力,可以支持全栈运维数据采集,实现全场景运维应用覆盖,帮助运维人员更全面的了解大数据各个维度的运行情况。

    全栈运维数据采集—Transwarp Aquila支持全栈运维数据采集,包括操作系统层面的CPU、内存等硬件资源数据,调度器、网关等系统组件相关数据,数据库的指标数据以及例如业务汇报系统,工单系统等应用的数据。

    全场景覆盖—通过Transwarp Aquila可以实现全场景运维应用覆盖,运维人员可以从不同的视角对集群,租户,服务等进行大盘监控,同时也能对数据库,大数据组件,云原生应用的运行性能和稳定性进行监控,了解其健康状态,及时发现问题并进行相关的操作。此外,运维人员还可以自定义运维仪表盘, 告警规则,自定义运维大盘,拓扑等,灵活地满足一些个性化运维需求。

    完整的大数据运维体系

    Transwarp Aquila实现大数据各个维度的运维监控,在流程上覆盖了事前预警,事中告警,事后分析处理,同时结合运维知识库实现一套完整的大数据运维体系,让运维更高效、更便捷、更智能。

    预置大量运维规则—Transwarp Aquila预置大数据和数据库产品、操作系统硬件和kubernetes平台等的仪表盘和告警规则,无须繁琐配置,开箱即用。

    规则设置

    多维可视化监控—Transwarp Aquila预置丰富的可视化仪表盘来支持不同场景下的运维数据展示,让用户对集群和服务的资源情况、运行情况即刻了如指掌。

    可视化监控

    及时预警和精确告警—Transwarp Aquila预置110+运维告警规则,运维人员可以通过预置的告警模板迅速按需创建多条告警规则,极大地提升了告警功能的易用性。同时,Aquila支持用户基于指标数据以及日志的告警自定义告警规则,通过设置阈值告警可以及时发现数据指标异常情况并及时准备应对措施,通过设置不同等级的告警可以帮助用户更高效的识别异常问题。用户可以按告警规则分组,将各类的告警信息发给对应的处理人员进行快速问题处理。此外,Aquila还支持邮件通知、webhook通知等,方便对接第三方告警处理服务,用户可以第一时间收到告警通知并及时进行告警处理。

    告警查询

    日志管理与问题分析—Transwarp Aquila预置平台、租户级别的日志搜索规则,提高用户日志搜索效率。同时,其支持日志上下文展开,帮助运维人员追溯故障发生的上下文,迅速定位故障原因。运维人员可以直接根据日志搜索结果设置告警,与告警功能联动,快速识别系统和数据异常

    日志上下文展开

    在运维集群的过程中, 我们经常发现一个服务不正常的根本原因往往是它所依赖的上下游服务不正常,而不同的服务,如果横跨了各个系统, 就需要不同领域的技术专家一起定位。Transwarp Aquila基于日志,k8s事件,告警以及异常指标,结合根因分析规则, 自动定位异常发生的可能原因,帮助运维人员快速发现和定位根因,提高排障效率,大大降低MTTR。

    根因分析

    Transwarp Aquila还支持运维数据跨集群以及多租户场景。基于Aquila,运维人员可以对多个集群集中式统一运维,大大降低多集群运维的难度,提高运维的效率。同时,运维数据支持租户隔离,不同租户只能查看本租户数据,仪表盘,告警规则,在线运维任务等。

    此外,星环科技大数据基础平台TDH还提供大数据平台安全审计和大数据安全管理工具,让安全防卫,权限管理等工作更加便捷。Transwarp Audit面向TDH中对数据的操作和权限进行合理布控和监测,实现对数据访问和操作的集中监控、查看和管理的智能化、可视化审计。Transwarp Guardian为TDH提供集中的安全和资源管理服务,例如其多租户资源管理模块可以按照租户的方式管理资源,并通过一个图形化工具为用户提供权限配置以及资源配置接口。

    星环科技大数据基础平台TDH采用领先的多模型技术架构,实现了五个统一,从根本上解决了运维难的问题。同时,结合全套大数据管理组件实现了一站式集群资源维护管理和全场景运维应用覆盖,提供完整的大数据运维体系,帮助运维人员对各种场景的运行情况进行全面监控,快速发现异常和精准定位问题,并通过日志分析和根因定位等技术帮助运维人员快速排障,让运维更加高效,更加便捷和更加智能

    以上就是从运维视角看星环科技大数据基础平台 TDH 的整体介绍,TDH致力于帮助用户实现数据全生命周期的管理。

    展开全文
  • 1.linux查看文件被哪个用户占用 2.mysql成绩表有(学号,课程id,分数),查询所有科目平均分不及格的人的数量 3.es在项目中的应用,性能为什么快 4.kafka在项目中的应用 5.docker基础概念(镜像,仓库等),...
  • 星环Transwarp Data Hub大数据安装学习

    千次阅读 2022-05-12 11:28:28
    图形化的大数据开发工具套件 Transwarp Studio是TDH中的大数据开发工具集,包括元数据管理Governor、工作流Workflow、数据整合工具Transporter,Cube设计工具Rubik以及报表工具Pilot。用户可以使用这些图形化工具来...
  • 星环一站式大数据平台-4.6

    千次阅读 2017-09-15 11:10:29
    星环一站式大数据平台是星环科技为公有云打造的一套完整的大数据开发平台,产品完整涵括了集群管理和调度,企业数据仓库,数据集市,实时计算,数据挖掘和数据查询与搜索等领域,可以帮助用户在云平台上快速便捷的...
  • Transwarp Data Hub(TDH) 是星环科技自主研发的企业级一站式多模型大数据基础平台,其领先的多模型技术架构提供统一的接口层,统一的计算引擎层,统一的分布式存储管理层,统一的资源调度层,以及异构存储引擎层。...
  • Inceptor是一款用于批量处理及分析的数据库。它支持SQL 2003标准、Oracle PL/SQL以及DB2 SQL PL,对Oracle、DB2以及Teradata 都有很好的方言支持,是Hadoop领域对SQL标准支持最完善的产品。Inceptor的另一大优势是对...
  • “伴随着人工智能、云计算、大数据的深度融合,大数据技术已经进入3.0时代。”星环科技创始人兼CEO孙元浩8月14日在2018星环科技大数据3.0研讨会北京站上明确表示。当...
  • 文章讲的是星环大数据助银行数据仓库全面升级,去年九月,银监会发布了39号文,中心思想要求银行信息技术“安全可控”。它要求2015年起,各银行业金融机构对安全可控信息技术的应用以不低于15%的比例逐年增加,直至...
  • 美团×15,阿里×3,字节×6,头条,滴滴,百度,腾讯×4,Shopee,小米,爱奇艺,祖龙娱乐,360×5,商汤科技,网易×5,51×2,星环科技,招银网络,映客直播,字节×2,有赞,58×3,华为x2,创略科技,米哈游,...
  • 星环科技大数据基础平台Transwarp Data Hub(TDH)从2013年开始发布2.0版本至今,每年都会发布一个大版本,经过多次迭代和技术升级,到2021年TDH8.0发布,TDH已成为一个企业级大数据基础平台,基于其领先的多模型...
  • 近日,经DataPipeline与星环科技联合测试,DataPipeline 企业级实时数据融合平台3.0与星环大数据平台Transwarp Data Hub 6.2.2产品兼容良好,运行稳定、性能优越,通过互认证测试。此次产品兼容互认证为双方在数据...
  • 大数据开发面试总结

    2020-07-28 19:37:43
    大数据开发面试总结上海合合实习面试一面(电话died)1、熟悉那些java的list集合2、ArrayList和LinkedList的区别?3、JVM的内存4、类的加载过程5、python的闭包、魔术方法、__new__、高阶方法6、java的list集合7、...
  • 大数据开发全能工具

    2018-06-05 10:42:16
    大数据平台,数据精准分析,精准定位,方便处理的工具
  • 本篇文章将为您讲述星环科技大数据基础平台TDH是如何基于Overlay网络架构为用户提供全链路的数据安全保护能力。 业务背景 传统的网络安全概念建立在边界安全的框架之上,需要找出网络的安全边界,并将网络...
  • TranswarpDataHubTDH企业级一站式大数据综合平台白皮书-星环Transwarp Data Hub (TDH)企业级一站式大数据综合平台白皮书星环信息科技(上海)有限公司目录TDH产品的主要技术优势 03Transwarp Data Hub 体系架构 ...
  • 大数据产业创新服务媒体——聚焦数据 · 改变商业1月15日,全球著名的大数据搜索与实时处理公司Elastic公司CEO Shay Banon突然发文宣布,Elasticsearch和K...
  • 大数据开发面试题总结-超详细

    万次阅读 多人点赞 2019-11-18 16:51:27
    3、接收到applicatoin之后,DAGScheduler 会首先把applicatoin抽象成一个DAG 有向无图 4、DAGScheduler对这个DAG(DAG中的一个Job)进行stage的切分 5、把每一个stage提交给TaskScheduler  ...
  • 大数据开发专业需要学习的内容包括三大部分,分别是大数据基础知识、大数据平台知识、大数据场景知识。 大数据基础知识: 有三个主要部分,分别是数学、统计学和计算机等学科。大数据基础知识往往决定了开发人员未来...
  • 佛山电力选择了上海星环科技开发的一站式大数据处理平台Transwarp Data Hub下的实时数据库Hyperbase做为DSM平台全新的数据支撑系统。佛山电力为什么选择星环科技的Hyperbase呢?首先,DSM平台每天都要增加新的用电...
  • Transwarp Inceptor是星环科技推出的用于数据仓库和交互式分析的大数据平台软件,它基于Hadoop和Spark 技术平台打造,加上自主开发的创新功能组件,有效的解决了企业级大数据数据处理和分析的各种技术难 题,帮助...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 2,293
精华内容 917
关键字:

星环大数据开发