01 源码分析

源码阅读，最核心有三点：技术基础+强烈的求知欲+耐心。

1.1 设计模式（45设计模式：介绍+优缺点+应用实例+源代码+解决问题）

1.2 Spring复习大纲：依赖注入Ioc+Beans+注解+数据访问+AOP+MVC等

1.3 Spring全家桶笔记：Spring+Spring Boot+Spring Cloud+Spring MVC

面试题（含解析）+学习书籍+学习思维脑图

02 分布式架构

近几年目前分布式最主流的技术：

2.1 大规模分布式存储系统：原理解析与架构实战（PDF）

2.2 ZooKeeper-分布式过程协同技术详解（PDF）

2.3 Redis学习笔记

2.4 MangoBD面试必备题

2.5 并发编程72道题+解析

03 微服务

微服务需要学习的知识点：

3.1 微服务那些事儿（PDF）

3.2 Spring Cloud参考指南

3.3 docker学习思维脑图

04 性能优化

结性能优化应该学习理解的几大知识体系：

4.1 MySQL面试必备+21个最佳性能调优实践

4.2 MySQL技术内幕 InnoDB存储引擎

4.3 JVM性能调优学习脑图（xmind）

4.4 Tomcat专题资料

05 Java工程化

Java工程化应该学习理解的几大知识体系：

总结

大型分布式系统犹如一个生命，系统中各个服务犹如骨骼，其中的数据犹如血液，而Kafka犹如经络，串联整个系统。这份Kafka源码笔记通过大量的设计图展示、代码分析、示例分享，把Kafka的实现脉络展示在读者面前，帮助读者更好地研读Kafka代码。

需要免费领取这份Kafka源码笔记的铁汁们，麻烦帮忙转发一下这篇文章+关注我，然后戳这里免费获取！

脉络展示在读者面前，帮助读者更好地研读Kafka代码。

需要免费领取这份Kafka源码笔记的铁汁们，麻烦帮忙转发一下这篇文章+关注我，然后戳这里免费获取！

前言

今年的金三银四已经过去一大半了，在这其中参与过不少面试，2021都说工作不好找，这也是对开发人员的要求变向的提高了。
之前在Github上收获15K+star的Java核心神技（这参数，质量多高就不用我多说了吧）非常全面，包含基础知识、Java集合、JVM、多线程并发、spring原理、微服务、Netty 与RPC 、Kafka、日记、设计模式、Java算法、数据库、Zookeeper、分布式缓存、数据结构等等内容非常丰富，已经帮很多人拿下互联网一线公司的offer

InnoDB总体结构

首先我们来看官网的一张图(图片来源于MySQL官网)：

从上图中可以看出其主要分为两部分结构，一部分为内存中的结构(上图左边)，一部分为磁盘中的结构(上图右边)

内存结构

InnoDB内存中的结构主要分为：Buffer Pool,Change Buffer和Log Buffer三部分。

Buffer Pool

Buffer Pool是InnoDB缓存表和索引的一块主内存区域，Buffer Pool允许直接从内存中处理经常使用的数据，从而加快处理速度，带来一定的性能提升。 但是缓存总有放满的时候，当缓存满了新来的数据怎么处理呢？Bufer Pool中采用的是LRU(least recently used，最近最少使用)算法，LRU列表中最前面存的是高频使用页，尾部放的是最少使用的页。当有新数据过来而缓存满了就会覆盖尾部数据。

假如我们有一条查询语句非常大，返回的结果集直接就超过了Buffer Pool的大小，而这种语句使用场景又是极少的，可能查询这一次之后很久不会查询，而这一次就将缓存占满了，将一些热点数据全部覆盖了。为了避免这种情况发生，InnoDB对传统的LRU算法又做了改进，将LRU列表分拆分为2个，如下图(图片来源于MySQL官网)：

该算法在new子列表中保留大量页面(5/8),old子列表包含较少使用的页面(3/8);old子列表中数据可能会被覆盖，该算法具体操作如下：

• 3/8的Buffer Pool空间用于old子列表

• 列表的中点是new子列表的尾部与old子列表的头部之间的边界

• 当InnoDB将一个页面读入缓冲池时，它首先将它插入到中间点(old子列表的头)。读取的页面是由用户发起的操作(比如SQL查询)或InnoDB自动执行的预读操作

• 访问old子列表中的页面使其“young”，并将其移动到new子列表的头部。如果读取的页是由用户发起的操作，那么就会立即进行第一次访问，并使页面处于young状态；如果读取的页是由预读发起的操作，那么第一次访问不会立即发生，而且可能直到覆盖都不会发生。

• 操作数据时，Buffer Pool中未被访问的页会逐渐移到尾部，最终会被覆盖。

默认情况下，查询读取的页面会立即移动到新的子列表中，这意味着它们在缓冲池中停留的时间更长。

Change Buffer

Change Buffer是一种特殊的缓存结构，用来缓存不在Buffer Pool中的辅助索引页， 支持insert, update,delete(DML)操作的缓存(注意，这个在MySQL5.5之前叫做Insert Buffer，仅支持insert操作的缓存)。当这些数据页被其他查询加载到Buffer Pool后，则会将数据进行merge到索引数据叶中。

InnoDB在进行DML操作非聚集非唯一索引时，会先判断要操作的数据页是不是在Buffer Pool中，如果不在就会先放到Change Buffer进行操作，然后再以一定的频率将数据和辅助索引数据页进行merge。这时候通常都能将多个操作合并到一次操作，减少了IO操作，尤其是辅助索引的操作大部分都是IO操作，可以大大提高DML性能。

如果Change Buffer中存储了大量的数据，那么可能merge操作会需要消耗大量时间。

为什么Change Buffer只能针对非聚集非唯一索引

因为如果是主键索引或者唯一索引，需要判断数据是否唯一，这时候就需要去索引页中加载数据判断而不能仅仅只操作缓存。

Change Buffer什么时候会merge

总体来说，Change Buffer的merge操作发生在以下三种情况：

• 辅助索引页被读取到Buffer Pool时。 当执行一条select语句时，会去检查当前数据页是否在Change Buffer中，如果在，就会把数据merge到索引页

• 该辅助索引页没有可用空间时。 InnoDB内部会检测辅助索引页是否还有可用空间(至少有1/32页)，如果检测到当前操作之后，当前索引页剩余空间不足1/32时，会进行一次强制merge操作

• 后台线程Master Thread定时merge。 Master Thread是一个非常核心的后台线程，主要负责将缓冲池中的数据异步刷新到磁盘，保证数据的一致性。

Adaptive Hash Index

Adaptive Hash Index，自适应哈希索引。InnoDB引擎会监控对索引页的查询，如果发现建立哈希索引可以带来性能上的提升，就会建立哈希索引，这种称之为自适应哈希索引，InnoDB引擎不支持手动创建哈希索引。

Log Buffer

日志缓冲区是存储要写入磁盘日志文件的一块数据内存区域，大小由变量innodb_log_buffer_size 控制，默认大小为16MB(5.6版本是8MB)：

SHOW VARIABLES LIKE 'innodb_log_buffer_size';-- global级别，无session级别

上文讲述update语句更新流程一文中，我们只提到了Buffer Pool用来代替缓存区，通过本文对内存结构的分析，实际上Buffer Pool中严格来说还有Change Buffer，Log Buffer和Adaptive Hash Index三个部分，DML操作会缓存在Change Buffer区域，而写redo log之前会先写入Log Buffer，所以Log Buffer又可以称之为redo Log Buffer。

Log Buffer什么时候写入redo log

一个大的Log Buffer空间大允许运行大型事务，而无需在事务提交之前将redo log数据写入磁盘。Log Buffer中的数据会定期刷新到磁盘，那么Log Buffer的数据又是如何写入磁盘的呢？Log Buffer数据flush到磁盘有三种方式，通过变量innodb_flush_log_at_trx_commit 控制，默认为1。 |value|描述|

• 当设置为0时，由于数据还在内存，所以崩溃后数据基本会被丢失

• 当设置为2时，由于数据已经实时写到redo log了，如果磁盘文件没有被损坏，还是可以恢复的

另外，Mast Thread默认1s进行一次刷盘操作，这个可以通过变量innodb_flush_log_at_timeout控制，默认1s。

SHOW VARIABLES LIKE 'innodb_flush_log_at_timeout';-- global级别，无session级别

磁盘结构

InnoDB引擎的磁盘结构，从大的方面来说可以分为Tablespace和redo log两部分

Tablespace

Tablespace可以分为4大类，分别是：System Tablespace，File-Per-Table Tablespaces，General Tablespaces，Undo Tablespaces

System Tablespace

系统表空间中包括了 InnoDB data dictionary,doublewrite buffer, change buffer, undo logs 4个部分，默认情况下InnoDB存储引擎有一个共享表空间ibdata1,如果我们创建表没有指定表空间，则表和索引数据也会存储在这个文件当中，可以通过一个变量控制(后面会介绍)。

ibdata1文件默认大小为12MB，可以通过变量innodb_data_file_path来控制，改变其大小的最好方式就是设置为自动扩展。

innodb_data_file_path=ibdata1:12M:autoextend

上面表示默认表空间ibdata1大小为12MB，支持自动扩展大小。

当我们的文件达到一定的大小之后，比如达到了998MB，我们就可以另外开启一个表空间文件：

innodb_data_home_dir=
innodb_data_file_path=/ibdata/ibdata1:988M;/disk2/ibdata2:50M:autoextend

关于上面的设置有3点需要注意：

• innodb_data_home_dir如果不设置的话，那么就默认所有的表空间文件都在datadir目录下，而我们上面指定了2个不同路径，所以需要把innodb_data_home_dir设为空

• autoextend这个属性，只能放在最后一个文件

• 指定新的表空间文件名的时候，不能和现有表空间文件名一致，否则启动MySQL时会报错

当然，表空间可以增大，自然也可以减少，但是一般我们都不会去设置减少，而且减少表空间也相对麻烦，在这里就不展开叙述了。

InnoDB Data Dictionary

InnoDB数据字典由内部系统表组成，其中包含用于跟踪对象(如表、索引和表列)的元数据。元数据在物理上位于InnoDB系统表空间中。由于历史原因，数据字典元数据在某种程度上与存储在InnoDB表元数据文件(.frm文件)中的信息重叠。

Doublewrite Buffer

Doublewrite Buffer，双写缓冲区，这个是InnoDB为了实现double write而设置的一块缓冲区，double write和上面的change buffer一个确保了可靠性，一个确保了性能的提升，是InnoDB中非常重要的两大特性。

我们先来看下面一张图：

InnoDB默认页的大小是16KB，而操作系统是4KB，如果存储引擎正在写入页的数据到磁盘时发生了宕机，可能出现页只写了一部分的情况，比如只写了 4K，这种情况叫做部分写失效（partial page write），可能会导致数据丢失。

可能有人会说，可以通过redo log来恢复，但是注意，redo log恢复数据有一个前提，那就是页没有损坏，如果页本身已经被损坏了，那么是没办法恢复的，所以为了确保万无一失，我们需要先保存一个页的副本，如果出现了上面的极端情况，可以用页的副本结合redo log来恢复数据，这就是double write技术。

double write也是由两部分组成，一部分是内存中的double write buffer,大小为2MB，另一部分是物理磁盘上的共享表空间中的连续128个页，大小也是2MB，写入流程如下图(图片来源于《MySQL技术内幕 InnoDB存储引擎》)：

double write机制会使得数据写入两次磁盘，但是其并不需要两倍的I/O开销或两倍的I/O操作。通过对操作系统的单个fsync()调用，数据以一个大的顺序块的形式写入到双写入缓冲区。

在大多数情况下默认启用了doublewrite缓冲区。要禁用doublewrite缓冲区，可通过将变量innodb_doublewrite设置为0即可。

完结

Redis基于内存，常用作于缓存的一种技术，并且Redis存储的方式是以key-value的形式。Redis是如今互联网技术架构中，使用最广泛的缓存，在工作中常常会使用到。Redis也是中高级后端工程师技术面试中，面试官最喜欢问的问题之一，因此作为Java开发者，Redis是我们必须要掌握的。

Redis 是 NoSQL 数据库领域的佼佼者，如果你需要了解 Redis 是如何实现高并发、海量数据存储的，那么这份腾讯专家手敲《Redis源码日志笔记》将会是你的最佳选择。

之一，因此作为Java开发者，Redis是我们必须要掌握的。

Redis 是 NoSQL 数据库领域的佼佼者，如果你需要了解 Redis 是如何实现高并发、海量数据存储的，那么这份腾讯专家手敲《Redis源码日志笔记》将会是你的最佳选择。

[外链图片转存中…(img-3BSkUaAz-1621921102173)]

感兴趣的朋友可以通过点赞+戳这里的方式免费获取腾讯专家手写Redis源码日志笔记pdf版本！

祝各位 程序🦍 节日快乐🎊

写在前面：
  前阵子，小名“偷偷地”发了一大批文章，是小名的一些读书笔记✍，那么为什么要把笔记发出来呢，嘻嘻，当然是小名的🧠不太灵光啦😣但是吧，小名坐地铁或者走在大街上的时候，脑袋里总是会想一些有的没的，不排除会想一些Java基础的知识，时常联系不起来，就有可能别扭一整天。所以呢，把它发出来一方面是为了和大家分享，作为这本书的一个能快速浏览的目录；另一方面，就是怕自己“钻牛角尖”的各种网上冲浪，也找不到书上的原版解释而别扭一天😂

小名的《Java编程思想》学习笔记目录:

注：每篇文章开头都会有一张脑图，图中的👉练习代码👈地址

第一章 对象导论

第二章 一切都是对象

第三章 操作符

第四章 控制执行流程

第五章 初始化与清理

第六章 访问权限控制

第七章 复用类

第八章 多态

第九章 接口

第十章 内部类

第十一章 持有对象

第十二章 通过异常处理错误

第十三章 字符串

第十四章 类型信息

第十五章 泛型

第十六章 数组

第十七章 容器深入研究

第十八章 Java I/O系统

第十九章 枚举类型

第二十章 注解

第二十一章 并发

  不论现在你现在是在加班还是在家躺尸，也许是在刷小名的博客🤔，或许是在刷小名的博客😆，又或许是在刷小名的博客🤨（暗示三连~❤）都要记得，今天咱们过节呢🎉

  没对象的，咱也不要亏待了自己！午饭加个🍗，给生活比个✌

  有对象的，提醒🧑/👧今天你过节，要关注你的压力，为你的坚持点赞！留心收藏你们生活中的点点滴滴~