课程培训
Flink 实时计算培训课程

Flink 实时计算培训课程

 

培训对象

  • 具有 Java/Scala 基础的开发工程师

  • 实时计算平台研发人员

  • 大数据架构师

  • 希望从批处理转向流处理的技术人员

 

培训目标
使学员深入掌握 Flink 流式计算框架的核心原理与实战技巧,理解状态管理、容错机制、时间语义等高级特性,能够独立设计开发高吞吐、低延迟、 Exactly-Once 语义的实时计算应用,解决企业级实时数仓、实时风控、实时大屏等场景中的实际问题。

 

培训内容介绍

  1. 实时计算技术选型与 Flink 架构深度解析
    剖析 Storm、Spark Streaming、Flink 的技术演进与选型对比;详解 Flink 四层架构(Deploy/ Core/ API/ Libraries)、JobManager-TaskManager 通信机制、任务调度与数据流图执行原理。

  2. DataStream API 核心算子与业务逻辑开发
    掌握 map/flatmap/filter/keyby 等基础算子;深入讲解 connect、coGroup、intervalJoin 等双流连接算子;实现自定义函数(RichFunction)与侧输出流(Side Output)在复杂业务中的应用。

  3. 时间语义与 Watermark 机制在乱序数据中的应用
    详解 EventTime/ProcessingTime/IngestionTime 的适用场景;Watermark 生成策略(周期性/标记性)、传播机制;结合真实业务处理乱序、迟到数据(Allowed Lateness)与窗口二次触发。

  4. 窗口计算全解析
    深入讲解滚动窗口(Tumbling)、滑动窗口(Sliding)、会话窗口(Session)的触发机制;窗口函数选择策略(增量聚合 vs 全量聚合);自定义窗口(GlobalWindow)在特殊业务场景下的实现。

  5. 状态后端与状态一致性保证
    详解 Keyed State 与 Operator State 的区别与应用场景;对比 Memory/Fs/RocksDB 三种状态后端;深入剖析 Checkpoint 与 Savepoint 机制,实现 Exactly-Once 语义的端到端一致性(Source-Flink-Sink)。

  6. Flink SQL 与 Table API 在实时数仓中的应用
    学习动态表(Dynamic Table)与连续查询(Continuous Query)原理;使用 Flink SQL 实现实时 ETL、分组聚合、窗口计算;维表关联(Async I/O)与 Upsert 输出流的实际应用。

  7. Flink CDC 实时数据同步技术
    基于 Flink CDC 2.0/3.0 捕获 MySQL/PostgreSQL 数据库增量日志;实现异构数据源实时同步;构建实时数仓 ODS 层,打通业务库与消息队列的实时通道。

  8. 复杂事件处理(CEP)与风控规则引擎
    掌握 Pattern API 定义事件模式(严格近邻/宽松近邻/非确定近邻);实现超时检测、循环模式与组合模式;基于 CEP 构建实时风控规则引擎,识别用户异常行为序列。

  9. Flink 与消息队列的深度集成
    详解 Kafka Source/Sink 的参数配置与语义保证;实现 Kafka 分区与 Flink 并行度的智能映射;处理 Kafka 消息膨胀、Rebalance 带来的数据倾斜问题;基于 Pulsar/RocketMQ 的集成方案对比。

  10. Flink 作业性能调优与问题诊断
    剖析反压(Back Pressure)的产生原因与定位方法;Checkpoint 超时/失败调优策略;State 数据倾斜解决方案;TaskManager 内存模型与 GC 调优;使用 Flink Web UI 与 Metrics 系统监控作业健康度。

  11. 生产环境下的 Flink 部署与运维
    基于 YARN/Kubernetes 的 Flink 作业提交模式对比;资源隔离与动态资源分配配置;作业升级与状态迁移(Savepoint 的使用);高可用配置与故障恢复策略。

  12. 综合实战:实时风控与实时大屏双项目
    项目一:构建实时交易风控系统,从 Kafka 读取支付流水,结合 CEP 规则引擎识别盗刷行为,实时阻断高风险交易并输出告警。项目二:开发电商实时大屏,使用 Flink SQL 计算实时 GMV、UV、热门商品 TopN,利用窗口实现滑动趋势分析,结果输出至 Redis 并通过 WebSocket 推送至前端展示。





如果您想学习本课程,请预约报名
如果没找到合适的课程或有特殊培训需求,请订制培训
除培训外,同时提供相关技术咨询与技术支持服务,有需求请发需求表到邮箱soft@info-soft.cn,或致电4007991916
技术服务需求表点击在线申请

服务特点:
海量专家资源,精准匹配相关行业,相关项目专家,针对实际需求,顾问式咨询,互动式授课,案例教学,小班授课,实际项目演示,快捷高效,省时省力省钱。

专家力量:
中国科学院软件研究所,计算研究所高级研究人员
oracle,微软,vmware,MSC,Ansys,candence,Altium,达索等大型公司高级工程师,项目经理,技术支持专家
中科信软培训中心,资深专家或讲师
大多名牌大学,硕士以上学历,相关技术专业,理论素养丰富
多年实际项目经历,大型项目实战案例,热情,乐于技术分享
针对客户实际需求,案例教学,互动式沟通,学有所获
报名表下载
联系我们 更多>>

咨询电话010-62883247

                4007991916

咨询邮箱:soft@info-soft.cn  

 

  微信咨询

随时听讲课

聚焦技术实践

订制培训 更多>>