Kafka入门与实践+2

内容简介

《Kafka入门与实践》以Kafka 0.10.1.1版本以基础，对Kafka的基本组件的实现细节及其基本应用进行了详细介绍，同时，通过对Kafka与当前大数据主流框架整合应用案例的讲解，进一步展现了Kafka在实际业务中的作用和地位。本书共10章，按照从抽象到具体、从点到线再到面的学习思维模式，由浅入深，理论与实践相结合，对Kafka进行了分析讲解。 《Kafka入门与实践》中的大量实例来源于作者在实际工作中的实践，具有现实指导意义。相信读者阅读完本书之后，能够全面掌握Kafka的基本实现原理及其基本操作，能够根据书中的案例举一反三，解决实际工作和学习中的问题。此外，在阅读本书时，读者可以根据本书对Kafka理论的分析，再结合Kafka源码进行定位学习，了解Kafka的设计和思想以及更多的编码技巧。 《Kafka入门与实践》适合应用Kafka的专业技术人员阅读，包括但不限于大数据相关应用的开发者、运维者和爱好者，也适合高等院校、培训结构相关专业的师生使用。

目录

第1章　Kafka简介 1


1.1　Kafka背景 1


1.2　Kafka基本结构 2


1.3　Kafka基本概念 2


1.4　Kafka设计概述 6


1.4.1　Kafka设计动机 6


1.4.2　Kafka特性 6


1.4.3　Kafka应用场景 8


1.5　本书导读 9


1.6　小结 9


第2章　Kafka安装配置 11


2.1　基础环境配置 11


2.1.1　JDK安装配置 11


2.1.2　SSH安装配置 13


2.1.3　ZooKeeper环境 15


2.2　Kafka单机环境部署 18


2.2.1　Windows环境安装Kafka 19


2.2.2　Linux环境安装Kafka 19


2.3　Kafka伪分布式环境部署 21


2.4　Kafka集群环境部署 22


2.5　Kafka Manager安装 22


2.6　Kafka源码编译 25


2.6.1　Scala安装配置 25


2.6.2　Gradle安装配置 26


2.6.3　Kafka源码编译 26


2.6.4　Kafka导入Eclipse 30


2.7　小结 31


第3章　Kafka核心组件 33


3.1　延迟操作组件 33


3.1.1　DelayedOperation 33


3.1.2　DelayedOperationPurgatory 35


3.1.3　DelayedProduce 36


3.1.4　DelayedFetch 38


3.1.5　DelayedJoin 38


3.1.6　DelayedHeartbeat 39


3.1.7　DelayedCreateTopics 40


3.2　控制器 40


3.2.1　控制器初始化 41


3.2.2　控制器选举过程 46


3.2.3　故障转移 48


3.2.4　代理上线与下线 49


3.2.5　主题管理 51


3.2.6　分区管理 54


3.3　协调器 58


3.3.1　消费者协调器 58


3.3.2　组协调器 60


3.4　网络通信服务 64


3.4.1　Acceptor 65


3.4.2　Processor 66


3.4.3　RequestChannel 68


3.4.4　SocketServer启动过程 69


3.5　日志管理器 70


3.5.1　Kafka日志结构 70


3.5.2　日志管理器启动过程 77


3.5.3　日志加载及恢复 79


3.5.4　日志清理 80


3.6　副本管理器 84


3.6.1　分区 86


3.6.2　副本 88


3.6.3　副本管理器启动过程 89


3.6.4　副本过期检查 90


3.6.5　追加消息 92


3.6.6　拉取消息 95


3.6.7　副本同步过程 97


3.6.8　副本角色转换 99


3.6.9　关闭副本 101


3.7　Handler 103


3.8　动态配置管理器 104


3.9　代理健康检测 106


3.10　Kafka内部监控 107


3.11　小结 110


第4章　Kafka核心流程分析 111


4.1　KafkaServer启动流程分析 111


4.2　创建主题流程分析 115


4.2.1　客户端创建主题 115


4.2.2　分区副本分配 117


4.3　生产者 121


4.3.1　Eclipse运行生产者源码 121


4.3.2　生