【梳理】k8s使用Operator搭建Flink集群（高可用可选）

本文内容来源于Flink官网，进行翻译、简化、整理，供大家参考~

一篇文章搞懂数据仓库：四种常见数据模型（维度模型、范式模型等）

现在能在网上找到很多很多的学习资源，有免费的也有收费的，当我拿到1套比较全的学习资源之前，我并没着急去看第1节，我而是去审视这套资源是否值得学习，有时候也会去问一些学长的意见，如果可以之后，我会对这套学习资源做1个学习计划，我的学习计划主要包括规划图和学习进度表。：设计思路自上而下，适合上游基础数据存储，同一份数据只存储一份，没有数据冗余，方便解耦，易维护，缺点是开发周期一般比较长，维护成本高。星型模型可以理解为，一个事实表关联多个维度表，雪花模型可以理解为一个事实表关联多个维度表，维度表再关联维度表。

机器学习在安全领域的应用：从大数据中识别潜在安全威胁

当谈到机器学习在安全领域的应用时，不可否认其在提升安全保障能力方面的重要性。机器学习技术的迅猛发展和不断完善，为威胁检测、视频监控和自然语言处理等安全领域带来了前所未有的机遇和挑战。本博客将深入探讨机器学习在安全领域的广泛应用，以及其对安全保障能力的提升。在过去的几年中，安全风险与威胁不断增加，传统的安全技术已经不能满足当今快速发展的威胁。因此，人们开始将机器学习技术引入安全领域，以帮助分析、监控和预防安全威胁。

CentOS 7配置hadoop和hbase伪分布式模式保姆级教程（近乎零基础跟着配也能配对）

为你配置hadoop和hbase伪分布式模式开启宝宝模式

zookeeper和nacos区别是什么，注册中心用zookeeper还是nacos

Zookeeper和Nacos都是用于服务发现、配置管理和分布式协调的开源软件。

大数据Doris（二）：Doris原理篇

在SQL优化器中最重要的一个组件是查询优化器（Query Optimization），在海量数据分析中一条SQL生成的执行计划搜索空间非常庞大，查询优化器的目的就是对执行计划空间进行裁剪减少搜索空间的代价，查询优化器对于SQL的执行来说非常重要，不管是关系型数据库系统Oracle、MySQL还是大数据领域中的Hive、SparkSQL、Flink SQL都会有一个查询优化器进行SQL执行计划优化。从寄存器中访问数据的速度，是从内存访问数据速度的300倍，是从磁盘中访问数据速度的30万倍。

深入解析《企业级数据架构》：HDFS、Yarn、Hive、HBase与Spark的核心应用

深入解析《企业级数据架构》：HDFS、Yarn、Hive、HBase与Spark的核心应用

【大数据】分布式文件系统HDFS

一文快速聊明白HDFS的核心概念

【大数据Hive】hive select 语法使用详解

hive 查询语法使用详解

【C++练级之路】【Lv.20】位图和布隆过滤器（揭开大数据背后的神秘面纱）

是由布隆（Burton Howard Bloom）在1970年提出的 一种紧凑型的、比较巧妙的。这种特性其实说两面一体的，既能带来优势（精准快速判断一定不存在），也会带来缺陷（存在会误判）。它不再是一 一映射的关系，而是将一个值映射到多个地址，从而降低了值与值之间冲突的概率。，其中运用最多的是string类。同时，面对数据量小且特殊的情况时，位图所消耗的空间可能比哈希表大。，每个位只能存储0或1，分别代表数据不存在和存在。的思想，在实际中有许多运用，之前介绍的。，将不同类型转换为整型，映射在位图上。

【Hadoop】下载安装及伪分布式集群搭建教程

一文详解hadoop下载安装以及伪分布式集群搭建教程

【postgresql 基础入门】聚合函数，通用型，统计分析型，多种多样的聚合函数满足数据的大数据的统计分析

在数据库管理系统中，SQL（结构化查询语言）的聚集函数扮演着至关重要的角色。它们能够对一组值执行计算，并返回单个值，为数据分析与决策提供了极大的便利。聚集函数不仅简化了复杂的数据处理任务，还使得数据的统计与汇总变得高效且准确。常见的SQL聚集函数包括求和（SUM）、平均值（AVG）、最大值（MAX）、最小值（MIN）以及计数（COUNT）等。这些函数能够快速地处理大量数据，提取出关键信息，帮助用户更好地了解数据的分布与特征。随着大数据时代的到来，数据的规模与复杂性不断增加，SQL聚集函数的重要性也日

Spark-机器学习（1）什么是机器学习与MLlib算法库的认识

从这一系列开始，我会带着大家一起了解我们的机器学习，了解我们spark机器学习中的MLIib算法库，知道它大概的模型，熟悉并认识它。同时，本篇文章为个人spark免费专栏的系列文章，有兴趣的可以收藏关注一下，谢谢。同时，希望我的文章能帮助到每一个正在学习的你们。也欢迎大家来我的文章下交流讨论，共同进步。

【Hadoop】创建Hadoop集群（3个节点）—— 安装部署一个3个节点构成的hbase集群

互联网的快速发展带来了数据快速增加，海量数据的存储已经不是一台机器所能处理的问题了。Hadoop的技术应运而生，对于伪分布式存储，Hadoop有自己的一套系统Hadoop distribution file system来处理，为什么分布式存储需要一个额外的系统来处理，而不是就把1TB以上的文件分开存放就好了呢，如果不采用新的系统，我们存放的东西没办法进行一个统一的管理。

【踩坑日常】解决Eureka启动报错：Network level connection to peer localhost；retrying after delay

在 Spring Framework 中，Profile 是一种用于定义一组 Bean 定义和配置的机制，这些 Bean 定义和配置仅在特定的运行时环境或应用程序配置下生效。通过使用 Profile，你可以根据应用程序运行的环境，如开发环境、测试环境、生产环境等，来灵活地管理不同的配置

【SQL开发实战技巧】系列（一）:关于SQL不得不说的那些事

复合索引的字段顺序，会影响查询速度，创建复合索引做SQL优化的一般原则是，如果两个字段在WHERE子句中使用频率相同,则将最具选择性的字段排在最前面，以下是分析结果：原SQL进行了两次全表扫描，优化后的SQL减少一次全表扫描，提高了查询效率。cusomer和customer_detail两个表的cust_id字段经常出现在where子句中，

基于flink&hudi批流一体技术

Hudi是Hadoop Updates and Incrementals的简写，它是由Uber开发并开源的Data Lakes解决方案。Hudi 用于管理的数据库层上构建具有增量数据管道的流式数据湖，同时针对湖引擎和常规批处理进行了优化。简言之，Hudi是一种针对分析型业务的、扫描优化的数据存储抽象，它能够使DFS数据集在分钟级的时延内支持变更，也支持下游系统对这个数据集的增量处理。

Java开发 - 消息队列之RabbitMQ初体验

RabbitMQ是使用Erlang语言开发的开源消息队列系统，基于AMQP协议来实现。AMQP的主要特征是面向消息、队列、路由(包括点对点和发布/订阅)、可靠性、安全。AMQP协议更多用在企业系统内，对数据一致性、稳定性和可靠性要求很高的场景，对性能和吞吐量的要求还在其次。所以在Java业务中使用很多，目前我所知道的很多都是用的此消息队列，只不过大家评价都是：功能强，性能一般。与其相反的，就是Kafka了：性能强，功能弱。

Hive数据导出的四种方法

介绍hive四种数据导出方法：Insert语句导出、Hadoop命令导出、Hive shell命令导出、Export语句导出