Kafka是流式处理系统如Spark streaming,Strom及Flink事实上的标准数据入口。本课程将分析Kafka的架构,Topic与Partition的关系,Kafka如何使用Consumer group实现group内的消息单播和group间的消息广播,Kafka如何利用Partition实现水平扩展以及Kafka如何实现高吞吐率。并结合源码分析Kafka实现数据复制,Leader election及Consumer rebalance的原理。同时介绍实用的Kafka监控工具kafka manager。并结合实例介绍Kafka如何与其它流行的开源系统(如Flume,Storm,Spark streaming)集成。
对kafka感兴趣的大数据工程师,需要熟悉Linux,需要有Java/Scala编程基础。