精华内容
下载资源
问答
  • 随着业务的增长走到尽头,查询会变得越来越慢。你可能通过增加更多的内存,订购更快的磁盘等等来解决问题(纵向扩展),但这只是拖延解决本质问题。如果你的需求解决怎样快速查询出结果,那么ClickHouse也许可以解决...

    920bbaeaeb6a6c4a11b364b3d15699e2.png

    点击蓝字获取更多精彩信息

    Clickhouse是一个用于联机分析处理(OLAP)的列式数据库管理系统(columnar DBMS)。随着业务的增长走到尽头,查询会变得越来越慢。你可能通过增加更多的内存,订购更快的磁盘等等来解决问题(纵向扩展),但这只是拖延解决本质问题。如果你的需求是解决怎样快速查询出结果,那么ClickHouse也许可以解决你的问题。

    目录

    ClickHouse介绍

    • 特点

    • 适用场景

    • 核心概念

    最佳实践:

    • 安装部署

    • 分布式集群

    • 表的创建

    • 数据写入

    • 业务查询

    • 集群监控

    介绍

    science & technology

        ck的来源和基本介绍我们上边已经说过了,对于他的特点无非也是对传统数据库及hadoop、spark这些巨无霸的某些方面有独特的性能,简单点说就是列式存储数据库,数据压缩;关系型、支持SQL;分布式并行计算,把单机性能压榨到极限;高可用;数据量级在PB级别。

        适用场景从社区分享的案例看主要有以下3类:日志数据的行为分析,标签画像的分析,数据集市层分析。

        接下来我们再说说他的几个基本的概念:

    1、表引擎(Engine)

        表引擎决定了数据在文件系统中的存储方式,常用的也是官方推荐的存储引擎是MergeTree系列,当然引擎的选择需要适用于场景的需求,后面我们会细讲。

    2、表分区(Partition)

        表中的数据可以按照指定的字段分区存储,每个分区在文件系统中都是都以目录的形式存在。常用时间字段作为分区字段,数据量大的表可以按照小时分区。如果你了解过hbase、hive的分区,你会很容易理解。

    3、分片(Shard)

        一个分片本身就是ClickHouse一个实例节点、获取你还在ES中听过分片这个词,其实也差不多,对于集群模式,多个分片组成集群。

    4、复制集(Replication)

        简单理解就是相同的数据备份,在ClickHouse中通过复制集,我们实现了保障数据可靠性外,也通过多副本的方式,增加了ClickHouse查询的并发能力、我们在联想一下ES,就是ES的副本这个逻辑嚒。

    5、集群(Cluster)

         多个ClickHouse实例组成一个集群,哦对,就是你理解的集群那个意思。

    976fa7d4360222d930ddbccc276d4a45.png11e22c1627093b51facc6f21591e4607.gif

    实践

    ▶ 部署安装

    ClickHouse安装部署需要四个安装包:clickhouse-client.rpmclickhouse-common-static.rpmclickhouse-server.rpmclickhouse-server-common4.rpm

    最后执行rpm -ivh * 即可完成安装。

    分布式集群

    3b4a685ce985af8aa9149a4c2302731a.png                       集群图例

    16dc99298e833d8fbfa5991d65a2ccf1.png

                            集群关系展示

    ▶ 表的创建

    (1) 创建本地表

        5865037d277c376f7c69361bd53fbc04.png

    (2)创建分布式表

    c530756232fce6964b7e7eaa721d8c90.png

    ▶ 数据的写入

    load2clickhouse.sh: clickhouse-client --host=192.168.40.72 --port=9000 --query="INSERT INTO default.taxi FORMAT CSV" < /data2/ck_test/1e_A.csv

    nohup time sh load2clickhouse.sh > insert.log 2>&1 &

    load2clickhouse73.sh: clickhouse-client --host=192.168.40.73 --port=9000 --query="INSERT INTO default.taxi FORMAT CSV" < /data1/ck_test/1e_B.csv

    nohup time sh load2clickhouse73.sh > insert73.log 2>&1 &

    b4a9f36cdf4a769b81035bc200b97d04.gif

    ▶ 业务查询

        ClickHouse的JDBC客户端是通过HTTP的方式与ClickHouse进行交互的,我们可以判断场景的可以基于HTTP协议做负载均衡,路由的中间件是可以满足需求的,这样我们的选择其实就有很多了。基于传统运维常见中间件的如:LVS,Nginx,HAProxy都有相关的能力,这里我们选用了Nginx。

    集群监控

         基于Grafana将这些业务信息进行了可视化展现。

    9a77b22e614f7d0a9ecc8d2b0156ac59.png

    15756966050ae23d73bb0cdd43bb227c.gif

    最后简单说一下表引擎

    VvV

    TinyLog

    最简单的一种引擎,每一列保存为一个文件,里面的内容是压缩过的,不支持索引
    这种引擎没有并发控制,所以,当你需要在读,又在写时,读会出错。并发写,内容都会坏掉。

    Log

    为孩子的全面发展、综合素质的全面提高,让您的孩子既能巩固以前所学的知识,做好暑假作业,并对即将开始新一学期所要学习的知识有个系统的把握。

    Memory

    内存引擎,数据以未压缩的原始形式直接保存在内存当中,服务器重启数据就会消失可以并行读,读写互斥锁的时间也非常短

    Distributed

    与 Merge 类似, Distributed 也是通过一个逻辑表,去访问各个物理表

    MergeTree

    这个引擎是 ClickHouse 的重头戏,它支持一个日期和一组主键的两层式索引,还可以实时更新数据。

    。。。。。。。

    更多引擎说明,可以去官网细研,地址:https://clickhouse.tech

    75f9d83a4f10143d6c2514acd35f6185.gif

    33245218164b4b923fa54accf07c1f60.png

    1f792f0b9bc4344c66a8d86a922d6214.png

    展开全文
  • 中兴通讯基于服务化架构和云原生设计的全融合Common Core产品,旨在提供面向未来业务演进,满足万物互联,全场景的行业领先产品解决方案。5G核心网一个全新架构设计的网络,引入了SBA(Service Based Architecture)...

    5G核心网是网络的大脑和枢纽,为用户提供用户接入、认证鉴权、策略控制、网络切片、能力开放等关键功能。中兴通讯基于服务化架构和云原生设计的全融合Common Core产品,旨在提供面向未来业务演进,满足万物互联,全场景的行业领先产品解决方案。

    5G核心网是一个全新架构设计的网络,引入了SBA(Service Based Architecture)、无状态、网络功能化、CUPS(Control and User Plane Separation,控制和转发分离)等关键设计理念和方法,其中CUPS,将网络划分为控制面和用户面,实现网络的计算和转发分离。用户面核心能力聚焦在网络转发上,其作为联结终端、无线、行业应用及互联网的转发高速公路,直接决定了5G网络能力的优劣,是核心网最为关键的组件之一。

    5G高带宽低时延业务的快速发展,驱动流量逐步从大区中心向边缘延伸和流动,单一的UPF(User Plane Function,用户面功能)形态已经难以满足5G灵活的商用部署的需求,中兴通讯根据业务发展趋势,设计了一系列的UPF/GW-U产品,用来满足不同地域和不同流量的差异化业务部署要求。

    中兴通讯UPF/GW-U秉承“极简用户面”的设计目标,在业界率先推出基于“一个极简产品、两种加速技术、多种部署形态”的全场景UPF,全面满足运营商及行业应用的高带宽低时延转发需求。

    7aa2c50d2aa30f63d2f592fec52c944a.png

    一个极简用户面,简约而不简单

    中兴通讯UPF/GW-U提供的极简融合的用户面体现在三个方面:简化拓扑、简化资源、简化运维。

    第一,在网络架构层面实现用户面和控制面之间的全连接组网,极大简化网络拓扑,提升整系统可靠性。5G网络部署初期,5G话务处于快速增长期,短时间内大概率出现流量激增,中兴通讯用户面可以做到动态加入网络服务、快速弹性伸缩、流量实时负载均衡,确保整网能自适应地对外部变化做出实时调整和扩展。

    第二,在资源层面实现深度融合,支持同时接入多种制式无线,并支持用户在多制式无线变化时,锚点唯一。当用户在不同无线制式下移动时,中兴通讯UPF/GW-U作为统一的用户面锚点,能够确保用户不掉线、会话不中断,打造极致用户体验。

    第三,在运维方面提供极简运维,解决运营商在引入5G网络后引入的运维难问题。5G用户面由于流量大、分布广、节点多,且采用CUPS,传统的运维方式很难满足5G复杂网络的运维要求。中兴通讯UPF/GW-U通过提供一系列自动化、智能化和批量化的运维手段和运维工具,减少手工干预、预设规格参数、智能根因分析、批量更新配置等,运维效率可提升30%以上。

    3c41c791a47b56cbef8182e4fd941932.png

    两种加速技术,打造业界最强5G转发

    衡量5G网络优劣的关键指标之一在于用户面转发能力,具体指标包括吞吐量、转发时延、每bit的功耗和成本。传统提升用户面性能的方案主要依赖于CPU核数和网卡能力两个因素,但这种单纯依赖于硬件的更新换代来提升性能的方案不再具有可持续性,而且采用软件加速算法,性能也已基本到达瓶颈,难以再有实质性的提升。

    中兴通讯UPF/GW-U在软件加速的基础上,率先在业界推出了基于FPGA的智能网卡加速解决方案,通过策略编排并结合智能分流技术,把移动网络的GTPU流量从传统的CPU处理器按需卸载到智能网卡,然后通过FPGA和加速网卡来共同完成高速转发。由于用户面流量全程采用硬件转发,突破现有的软件加速算法瓶颈,性能可达到传统用户面转发性能的数倍,同时转发时延可以降低到1/10,完全能够满足工业控制、车联网、无人机等需要超高带宽和超低时延的5G应用场景的技术要求。

    4f3f10377746487e9e6b9c69e929193a.png

    多种部署形态,打造业界最全场景UPF

    在传统的4G网络里,用户面的部署形态相对单一和固定,主要就是体现为SGW和PGW两个网元。当网络演进到5G SA以后,由于引入了网络融合、分布式DC、CUPS、UPF间互转以及MEC等新技术,5G用户面部署形态也呈现出了多样性、灵活性和组件化的特点,用户面网络功能由传统的集中部署方式演进到层次化的离散部署,用户面的部署位置也由集中部署逐步下沉到地市甚至边缘。

    中兴通讯UPF/GW-U在同一套产品架构体系下,根据软件配置和部署位置的不同灵活编排要部署的网络功能形态,并可以根据需要动态插入、更新和删除用户面UPF,随时选择最优流量转发路径,真正把用户面做到即插即用并随需而动。

    中兴通讯UPF/GW-U满足但不限于以下部署形态:UPF (PSA),PDU会话锚定点;UPF(UL-CL),上行分类器;UPF (Branching Point),用于IPv6 multi-homing的分流点;UPF (SGW-LBO),用于4G EPC下的MEC分流点;I-UPF,3GPP R16标准新引入的Intermediate UPF。

    值得强调的是,中兴通讯UPF/GW-U在产品上基于兼容并济的设计理念,在充分满足当下3GPP R15的标准基础上,不断扩展外延。一方面在原有4G EPC的SGW功能上做了功能扩展,提供SGW-LBO(Local Breakout)功能形态用于满足4G MEC的特定应用场景,帮助运营商充分挖掘存量网络价值,开创适用于4G网络的MEC应用。另一方面提前引入R16标准中定义的I-SMF/I-UPF,快速部署ETSUN(Enhancing Topology of SMF and UPF in 5G Networks),满足用户在更大范围内移动下的业务连续性问题。

    5G用户面在5G商用的部署过程中相对于传统网络,出现了新的变化、新的难题,我们迫切需要一个能够灵活满足各种部署形态的极简用户面,迎接即将到来的5G万千产业的多样化需求。中兴通讯UPF/GW-U在全融合Common Core框架下,以其极简的设计、领先的硬件加速能力和全场景部署形态,必将为客户及行业伙伴加速部署5G优质网络做出积极的推动作用。

    展开全文
  • 什么是索引?MySQL官方对索引的定义为:索引(Index)帮助MySQL高效获取数据的数据结构。...索引的类型索引类型有多种,哈希、BTREE、全文索引等,其实不管什么类型,都为了在特定业务场景下方...

    什么是索引?

    5cf0d3b874fe6955.jpg

    MySQL官方对索引的定义为:索引(Index)是帮助MySQL高效获取数据的数据结构。我们可以简单理解为:快速查找排好序的一种数据结构。Mysql索引主要有两种结构:B+Tree索引和Hash索引。我们平常所说的索引,如果没有特别指明,一般都是指B树结构组织的索引(B+Tree索引)。

    索引的类型

    索引类型有多种,哈希、BTREE、全文索引等,其实不管什么类型,都是为了在特定业务场景下方便快速查找数据的算法。

    例如哈希索引,key-value形式,最简单的,书本的目录也是类似的。

    假如有一本书中,我们已知文章标题要找到这篇文章来阅读,如果没有目录,我们就要翻整本书去找标题,

    但是如果标题单独抽出来作为key,页码作为value就可以快速找到内容。

    显然书本开头的目录是要占用几页纸的,建立索引也是要消耗资源的。

    BTREE索引是另一种算法,不同业务场景使用对应索引会更有效率。

    就好比新华字典的目录跟普通的书本目录不同,新华字典可以通过拼音或者偏旁部首的查询方法去快速查到字在第几页,这也是一种“索引”

    还有全文索引等,这里不在描述,例如solr、elasticsearch使用的算法可以去研究一下

    索引概念

    索引本质:索引就是数据库表中字段值的复制,该字段称为索引的关键字

    索引也是一张表,该表保存了主键与索引字段,并指向实体表的记录

    索引往往通过复杂的数据结构(双向链表、B+树/B树、hash)实现

    MyISAM存储引擎的表支持主索引,InnoDB存储引擎的表支持聚簇索引(主索引)与非聚簇索引(辅助索引)索引优化使用

    索引的优缺点

    @优点:

    MySQL的索引的建立对于MySQL的高效运行非常重要,可以大大提高MySQL的检索速度。

    在分组和排序字句进行数据检索,可以减少查询时间中 分组 和 排序时所消耗的时间(数据库的记录会重新排序)

    在表连接的连接条件 可以加速表与表直接的相连

    @缺点:

    但过多使用索引会造成索引滥用,提高了检索速度,缺降低了表的更新速度

    如:对表进行增删改查操作时,MySQL不仅要保存数据,还要保存索引文件,建立索引会占用磁盘空间的索引文件

    在创建索引和维护索引 会耗费时间,随着数据量的增加而增加

    展开全文
  • 什么是索引?MySQL官方对索引的定义为:索引(Index)帮助MySQL高效获取数据的数据结构。...索引的类型索引类型有多种,哈希、BTREE、全文索引等,其实不管什么类型,都为了在特定业务场景下方...

    什么是索引?

    729599924b916dd88799c095136f80a7.png

    MySQL官方对索引的定义为:索引(Index)是帮助MySQL高效获取数据的数据结构。我们可以简单理解为:快速查找排好序的一种数据结构。Mysql索引主要有两种结构:B+Tree索引和Hash索引。我们平常所说的索引,如果没有特别指明,一般都是指B树结构组织的索引(B+Tree索引)。

    索引的类型

    索引类型有多种,哈希、BTREE、全文索引等,其实不管什么类型,都是为了在特定业务场景下方便快速查找数据的算法。

    例如哈希索引,key-value形式,最简单的,书本的目录也是类似的。

    假如有一本书中,我们已知文章标题要找到这篇文章来阅读,如果没有目录,我们就要翻整本书去找标题,

    但是如果标题单独抽出来作为key,页码作为value就可以快速找到内容。

    显然书本开头的目录是要占用几页纸的,建立索引也是要消耗资源的。

    BTREE索引是另一种算法,不同业务场景使用对应索引会更有效率。

    就好比新华字典的目录跟普通的书本目录不同,新华字典可以通过拼音或者偏旁部首的查询方法去快速查到字在第几页,这也是一种“索引”

    还有全文索引等,这里不在描述,例如solr、elasticsearch使用的算法可以去研究一下

    索引概念

    索引本质:索引就是数据库表中字段值的复制,该字段称为索引的关键字

    索引也是一张表,该表保存了主键与索引字段,并指向实体表的记录

    索引往往通过复杂的数据结构(双向链表、B+树/B树、hash)实现

    MyISAM存储引擎的表支持主索引,InnoDB存储引擎的表支持聚簇索引(主索引)与非聚簇索引(辅助索引)索引优化使用

    索引的优缺点

    @优点:

    MySQL的索引的建立对于MySQL的高效运行非常重要,可以大大提高MySQL的检索速度。

    在分组和排序字句进行数据检索,可以减少查询时间中 分组 和 排序时所消耗的时间(数据库的记录会重新排序)

    在表连接的连接条件 可以加速表与表直接的相连

    @缺点:

    但过多使用索引会造成索引滥用,提高了检索速度,缺降低了表的更新速度

    如:对表进行增删改查操作时,MySQL不仅要保存数据,还要保存索引文件,建立索引会占用磁盘空间的索引文件

    在创建索引和维护索引 会耗费时间,随着数据量的增加而增加

    展开全文
  • 最近在学习消息中间件,Kafka、RocketMQ、RabbitMQ等,消息...主要还是来自于互联网的业务场景,例如,马上即将开始的春节火车票抢购,大量的用户需要同一时间去抢购;以及大家熟知的阿里双11秒杀, 短时间上亿的...
  • vue耦合程度是什么意思

    千次阅读 2017-12-12 10:37:10
    高耦合的意思 通俗讲 就是 你老大让你写一个项目内的组件 有很多场景 要用 你开发好的结果就是 只有一个场景 好用 其他场景很难用 耦合度越高 越说明组件的抽象程度和你对项目业务的理解 越烂
  • 什么单体架构?在软件设计中,经常提及和使用经典的 3 层模型,即表示层、业务逻辑层和数据访问层。表示层:用于直接和用户交互,也称为交互层,通常...虽然在软件设计中划分了经典的 3 层模型,但是对业务场景...
  • 那具体什么是分布式锁,分布式锁应用在哪些业务场景、如何来实现分布式锁呢?0.1 什么是分布式锁 要介绍分布式锁,首先要提到与分布式锁相对应的线程锁、进程锁。1.线程锁 主要用来给方法、代码块加锁。当某个方法...
  • 什么是JWTJson web token (JWT), 为了在网络应用环境间传递声明而执行的一种基于JSON的开放标准((RFC 7519).该token被设计为紧凑且安全的,特别适用于分布式站点的单点登录(SSO)场景。JWT的声明一般被用来在身份...
  • 而可以使用区块链的场景,一般都拥有自己的线上业务平台,这个大家可以理解为比如买东西我们上某宝、外卖我们用某团这个概念,当然你手机上下载的大部分软件都属于线上业务平台。为什么呢?因为懂一些互联网知识的...
  • 生产者发布的消息会通过网络通讯回流到服务器端,例如通过HTTP、RPC或者用Netty实现的自定义协议,服务器端会先存到内存中,然后根据一定的业务场景决定落盘策略(同步或异步),我们知道内存中的数据易丢失的,...
  • 在不同的行业里面cms的具体应用场景业务有区别的,区别还比较大。这里先将cms理解为能够动态配置页面的系统吧。 Cms能够完成什么呢?首页的楼层、运营的临时活动、各种自定义的页面都可以用cms来完成。比如...
  • 最近因为工作需要,用Excel和oracle整理数据貌似不可行了,于是转向Python,理所当然的踩了很多坑,一一记录下来,避免以后再次入坑,毕竟不常用,好了伤疤就会忘了疼···业务场景:领导拿来几个Excel,共150W条...
  • 转自:http://blog.csdn.net/pengsidong/article/details/62104703,有...一、索引的类型索引类型有多种,哈希、BTREE、全文索引等,其实不管什么类型,都为了在特定业务场景下方便快速查找数据的算法。例如哈希索...
  • 阿里妹导读:你还在用面向对象的语言写面向过程的代码吗?你是否正在被复杂的业务... 今天我们邀请阿里高级技术专家张建飞,一起来聊聊为什么需要领域建模,什么是好的模型,又该如何搭建。 为什么要领域建模?软件...
  • 一台云服务器ECS实例等同于一台虚拟机,包含vCPU、内存、...根据业务场景,ECS实例可以分为多个规格族,同一个规格族里,根据vCPU和内存的配置,可以分为多种不同的规格。不同实例规格具有不同的vCPU和内存等配置...
  • 一、什么是幂等?看一下维基百科怎么说的:幂等性:多次调用方法或者接口不会改变业务状态,可以保证重复调用的结果和单次调用的结果一致。二、使用幂等的场景1、前端重复提交用户注册,用户创建商品等操作,前端...
  • 先进制造业+工业互联网产业智能官AI-CPS加入知识星球“产业智能研究院”:先进制造业OT(自动化+机器人+工艺+精益)和工业互联网IT(云计算+大数据+物联网+区块链+人工智能)产业智能化技术深度融合,在场景中构建“状态...
  • 做JavaWeb的开发的同学们都应该遇到过,...的确,这些需求比较简单,但是,有没有想过,这种频次限制其实业务耦合度不高,能不能统一封装,在业务需要的时候直接设置就行了呢? 答案肯定的。自定义注解来实...
  • 数据仓库作主要面向分析场景的数据库,又进行了“分层”的设计,因此出现了ods层、edw、dm层的设计(也有的公司会使用超过3层的设计模式),其核心都为了让数据仓库在应对分析场景业务应用场景时更高效。...
  • 什么我们写的代码都 if-else?程序员想必都经历过这样的场景:刚开始自己写的代码很简洁,逻辑清晰,函数精简,没有一个 if-else,可随着代码逻辑不断完善和业务的瞬息万变:比如需要对入参进行类型和值进行判断...
  • 腾讯云1核2G1M云服务器是很常见的腾讯云实例机型。之前介绍过腾讯云2核4G5M、2核8G5M,...一、几核几G几M是什么意思 几核就是服务器提供几个CPU核心,几G是有多少GB内存,几M就是云服务器带宽是多少Mbps。云服务器...
  • MLSQL Stack 应用场景示例

    千次阅读 2019-04-27 15:37:11
    前言 MLSQL Stack 都有哪些应用场景呢?毕竟现在场景为王的时代。其实MLSQL Stack有无限的可能性等待大家挖掘。下面我们提一些已经在应用的。 数据同步组件 ...什么意思呢?就是根据业务需求,用M...
  • Seata 阿里开源的基于Java的分布式事务解决方案AT,XA,TCC,SagaSeata 提供四种模式解决分布式事务场景,AT,XA,TCC,Saga。简单叨咕叨咕我对这几种模式的理解AT这Seata的一大特色,AT对业务代码完全无侵入性...

空空如也

空空如也

1 2 3 4 5 ... 10
收藏数 196
精华内容 78
关键字:

业务场景是什么意思