Kafka权威指南（第2版）-格温·沙皮拉 托德·帕利诺 拉吉尼·西瓦拉姆 克里特·佩蒂
- 书名： Kafka权威指南（第2版）
- 作者： 格温·沙皮拉 托德·帕利诺 拉吉尼·西瓦拉姆 克里特·佩蒂
- 简介： 本书介绍Kafka的技术原理和应用技巧。内容包括如何安装和配置Kafka、如何使用Kafka API、Kafka的设计原则和可靠性保证，以及Kafka的一些架构细节，如复制协议、控制器和存储层。本书列举了一些非常流行的Kafka应用场景，比如基于事件驱动的微服务系统的消息总线、流式处理应用程序和大规模数据管道。通过学习本书，你不仅能够深入理解这项大数据核心技术，还能够将所学知识付诸实践，在生产环境中更好地运行Kafka，并基于它构建稳健的高性能应用程序。
- 出版时间 2022-11-01 00:00:00
- ISBN： 9787115601421
- 分类： 计算机-编程设计
- 出版社： 人民邮电出版社
高亮划线
封面
版权信息
外版申明
O'Reilly Media, Inc.介绍
本书赞誉
第2版序
第1版序
前言
第1章 初识Kafka
-
📌 图1-5所示的主题有4个分区，消息被追加写入每个分区的尾部。Kafka通过分区来实现数据的冗余和伸缩。分区可以分布在不同的服务器上，也就是说，一个主题可以横跨多台服务器，以此来提供比单台服务器更强大的性能。此外，分区可以被复制，相同分区的多个副本可以保存在多台服务器上，以防其中一台服务器发生故障。 ^9-5146-5295
- ⏱ 2024-03-23 15:29:20
-
📌 消费者可以是消费者群组的一部分，属于同一群组的一个或多个消费者共同读取一个主题。群组可以保证每个分区只被这个群组里的一个消费者读取。在图1-6所示的群组中，有3个消费者同时读取一个主题，其中的两个消费者各自读取3个分区中的1个分区，另外一个消费者读取其他2个分区。消费者与分区之间的映射通常被称为消费者对分区的所有权关系。 ^9-6646-6821
- ⏱ 2024-03-23 15:59:13
-
📌 不过，需要注意的是，Kafka的消息复制机制只能在单个集群中而不能在多个集群之间进行。 ^9-8722-8765
- ⏱ 2024-03-23 16:03:13
-
📌 Confluent ^9-16426-16434
- ⏱ 2024-03-23 16:24:41
第2章 安装Kafka
- 📌 新的listeners配置参数是一个用逗号分隔的URI列表，也就是要监听的地址和端口。如果没有为监听器指定安全协议，则还需要额外配置listener.security.protocol.map参数。监听器的格式为
:// : ，例如，PLAINTEXT://localhost:9092,SSL://:9091就是一个合法的配置。如果主机名是0.0.0.0，那么将绑定所有的网络接口地址。如果主机名为空，那么将绑定默认的网络接口地址。需要注意的是，如果指定的端口号小于1024，则必须用root权限启动Kafka，但不建议这么配置。 ^10-8430-8744 - ⏱ 2024-03-23 20:18:04
第3章 Kafka生产者——向Kafka写入数据
第4章 Kafka消费者——从Kafka读取数据
-
📌 于是，我们可以为主题创建大量的分区，当负载急剧增长时，可以加入更多的消费者。不过需要注意的是，不要让消费者的数量超过主题分区的数量，因为多余的消费者只会被闲置。第2章提供过一些如何为主题选择合适分区数的建议。 ^12-2748-2852
- ⏱ 2024-04-09 10:56:02
-
📌 只要保证每个应用程序都有自己的消费者群组就可以让它们获取到所有的消息。不同于传统的消息系统，横向伸缩消费者和消费者群组并不会导致Kafka性能下降。 ^12-3020-3094
- ⏱ 2024-04-09 10:56:43
第5章 编程式管理Kafka
第6章 深入Kafka
- 📌 在现有架构中，ZooKeeper起到了两个重要作用：一是用于选举控制器，二是用于保存集群元数据（broker、配置、主题、分区和副本） ^14-4439-4506
- ⏱ 2024-04-09 17:38:29