分(fēn)布式消息系统Kafka架构分(fēn)析与应用(yòng)

架构设计 / 2020-10-21 15:58:55
分(fēn)布式消息系统Kafka架构分(fēn)析与应用(yòng)
    马上咨询


    Jason  多(duō)年Kafka/Hadoop/Spark研究、应用(yòng)及调优经验 

    • 现从事大数据平台优化工作。 高性能(néng)Java应用(yòng)架构与设计
    • 敏捷团队建设与管理(lǐ)
    • 数据库、数据仓库的设计与优化
    • 分(fēn)布式应用(yòng)架构与开发
    • 大数据系统（如Kafka、Hadoop和Spark）架构与开发 

    课程简介

    a) 结合实战分(fēn)析大数据系统的基石——Zookeeper的实现原理(lǐ)以及典型使用(yòng)场景，如分(fēn)布式配置管理(lǐ)，领导选举，分(fēn)布式锁
    b) 分(fēn)析分(fēn)布式系统的消息路由策略以及如何解决数据倾斜问题
    c) 从Kafka 0.8到0.10的数据复制与领导选举策略的演进，分(fēn)析通用(yòng)分(fēn)布式系统中典型的复制与领导选举的关键技术及解决方案
    d) 分(fēn)析Kafka 0.8到0.10的Consumer Group Rebalance方案的演进——从分(fēn)布式“自各為(wèi)政”选举到集中式“统一决策”选举
    e) 分(fēn)析流式处理(lǐ)系统的新(xīn)贵——Kafka Stream的原理(lǐ)及其与其它流式处理(lǐ)系统的區(qū)别
    f) 介绍Kafka Producer/Consumer的用(yòng)法
    g) 介绍如何使用(yòng)Kafka实现正好一次（Exactly Once）处理(lǐ)语义
    h) 介绍Kafka Stream的使用(yòng)注意事项
    i) 介绍如何将Kafka与其它主流分(fēn)布式系统，如Hadoop、Spark，集成

    目标收益

    a) 掌握Kafka的Producer/Consumer的用(yòng)法及与其它系统集成的方案
    b) 初步掌握如何使用(yòng)Kafka Stream开发流式处理(lǐ)应用(yòng)
    c) 掌握Kafka的复制和领导选举策略，并了解分(fēn)布式系统一致性解决方案
    d) 能(néng)够理(lǐ)解并掌握分(fēn)布式产品选型方法

    培训对象

    a) 大数据产品开发工程师
    b) 大数据运维工程师
    c) 大数据架构师

    课程大纲

    Kafka架构
    1.1 Kafka整體(tǐ)架构
    1.2 Topic & Partition
    1.3 Producer最佳实践
    1.4 消息路由之自定义Partitioner
    1.5 两种不同的Consumer用(yòng)法
    Kafka高可(kě)用(yòng)原理(lǐ)
    2.1 Kafka面临的CAP问题
    2.2 高可(kě)用(yòng)下的数据分(fēn)发
    2.3 动态平衡策略ISR
    2.4 基于Zookeeper的领导选举方案
    2.5 Failover原理(lǐ)
    Consumer Rebalance方案演进
    Kafka Stream
    3.1 為(wèi)什么需要Rebalance
    3.2 Rebalance实现的效果
    3.3 自治式Rebalance原理(lǐ)及问题
    3.4 集中式Rebalance实现原理(lǐ)
    3.5 应用(yòng)程序如何处理(lǐ)Consumer Rebalance
    Kafka Stream
    4.1 Kafka Stream架构
    4.2 Kafka Stream并发模型
    4.3 实现Topology的两种方式
    4.4 窗口和Join原理(lǐ)与可(kě)恢复性保障
    4.5 Kafka Stream与其它流式处理(lǐ)系统的异同
    Kafka运维与如何实现正好一次
    5.1 重新(xīn)分(fēn)配Replica
    5.2 Preferred Replica Leader Election
    5.3 两阶段提交实现正好一次
    5.4 幂等操作实现正好一次
    5.5 数据处理(lǐ)与offset管理(lǐ)放在同一事務(wù)实现正好一次