课程培训
Flink流批一体计算:状态管理与窗口函数培训课程

Flink流批一体计算:状态管理与窗口函数培训课程

  •  

  • 培训对象: 实时计算工程师、大数据开发人员、流处理应用开发者、数据平台架构师。

  •  

  • 培训目标:

    • 理解Flink的流批一体架构和运行原理。

    • 掌握DataStream API进行流处理开发。

    • 熟练使用Flink的窗口函数和状态管理。

    • 具备Checkpoint配置和Exactly-Once语义保证能力。

  •  

  • 培训内容介绍:

  •  

    一、 Flink架构与流批一体: 了解Flink的发展历程,对比与Spark Streaming的差异,理解其流批一体的设计理念。

    二、 Flink部署与开发环境: 搭建Flink本地集群,配置IDE开发环境,熟悉Flink命令行操作。

    三、 DataStream API基础: 创建执行环境,定义Source(Socket、Kafka)、Transformation(map、filter)和Sink。

    四、 时间语义与Watermark: 理解事件时间、摄入时间、处理时间的区别,设置Watermark处理乱序数据。

    五、 窗口函数深度应用: 实现滚动窗口(Tumbling)、滑动窗口(Sliding)和会话窗口(Session),使用ReduceFunction和ProcessWindowFunction。

    六、 状态管理与容错: 理解Keyed State和Operator State,使用ValueState、ListState维护状态数据。

    七、 Checkpoint与Savepoint: 配置Checkpoint实现故障恢复,使用Savepoint进行作业升级和迁移。

    八、 Exactly-Once语义保证: 理解端到端的Exactly-Once实现,配置Kafka Source和Sink的Exactly-Once语义。

    九、 Table API与SQL: 使用Table API和Flink SQL进行流式查询,处理动态表的变化。

    十、 Flink与Kafka集成: 配置Kafka连接器,消费和写入Kafka消息,处理JSON格式数据。

    十一、 Flink性能优化: 调整并行度、缓冲区大小、状态后端(RocksDB),优化大状态作业性能。

    十二、 实战项目:实时风控系统: 开发Flink实时风控应用,处理用户行为流,结合状态计算规则,实时识别风险交易。





如果您想学习本课程,请预约报名
如果没找到合适的课程或有特殊培训需求,请订制培训
除培训外,同时提供相关技术咨询与技术支持服务,有需求请发需求表到邮箱soft@info-soft.cn,或致电4007991916
技术服务需求表点击在线申请

服务特点:
海量专家资源,精准匹配相关行业,相关项目专家,针对实际需求,顾问式咨询,互动式授课,案例教学,小班授课,实际项目演示,快捷高效,省时省力省钱。

专家力量:
中国科学院软件研究所,计算研究所高级研究人员
oracle,微软,vmware,MSC,Ansys,candence,Altium,达索等大型公司高级工程师,项目经理,技术支持专家
中科信软培训中心,资深专家或讲师
大多名牌大学,硕士以上学历,相关技术专业,理论素养丰富
多年实际项目经历,大型项目实战案例,热情,乐于技术分享
针对客户实际需求,案例教学,互动式沟通,学有所获
报名表下载
联系我们 更多>>

咨询电话010-62883247

                4007991916

咨询邮箱:soft@info-soft.cn  

 

  微信咨询

随时听讲课

聚焦技术实践

订制培训 更多>>