课程培训
基于Flink搭建流计算平台培训

 

培训内容:

 

一、流式处理架构

1.1 流式处理背景及架构介绍
1.2 流式处理行业案例以及Flink的适用场景及应用概述

二、Flink概述

2.1 什么是Flink
2.2 Flink架构
2.3 Flink 与 Spark的比较以及为什么选择Flink
2.4 Flink开发环境配置和搭建

三、Flink编程模型

3.1 数据集类型
3.2 Flink编程接口
3.3 Flink程序结构
3.4 Flink数据类型

四、DataStream API介绍与使用

4.1 DataStream编程模型
4.2 Flink Execution 参数
4.3 Transformation
4.4 时间概念与Watermark
4.5 Windows窗口计算
4.6 作业链和资源组
4.7 Asynchronous I/O异步API
4.8 Asynchronous I/O异步原理

五、Flink流式计算基本概念介绍

5.1 时间特性:Event Time / Processing Time / Ingestion Time
5.2 WaterMark
5.3 Source/Sink/Operator
5.4 数据完整性语义
5.5 State/Checkpoint/Savepoint
5.6 Time window

六、Flink Connector数据源

6.1 FlinkKafkaSource序列化、消费模式
6.2 FlinkKafkaSource容错、动态分区及topic
6.3 FlinkKafkaSink序列化、配置、分区与容错
6.4自定义Source和Sink

七、DataSet API介绍与使用

7.1 DataSet API,Transformation
7.2 迭代计算
7.3 广播变量与分布式缓存
7.4 语义注解
7.5 DataSetUtils工具类

八、Table API & SQL介绍与使用

8.1 基本概念

/表对偶性
Source/Sink Table
数据回撤

8.2 Flink Table API
8.3 Flink SQL使用

Flink SQL client
Flink SQL 已支持特性

8.4 自定义函数 UDF/UDTF/UDAF

九、两个完整的Flink实现案例

9.1 Kafka 数据流处理,写入HDFS
9.2多源数据关联与聚合分析

十、Flink有状态的计算、状态管理和容错

10.1 什么是有状态计算
10.2 有状态计算中的数据一致性挑战
10.3 理解state状态
10.4 Operator State 的使用及Redistribute
10.5 Keyed State的使用与Redistribute
10.6 Broadcast State的妙用
10.7 Checkpoint核心原理剖析
10.8 Checkpoint使用条件及使用步骤
10.9 Checkpoint相关配置及重启策略
10.10 Savepoint的触发、Job恢复及删除

十一、实战项目1:用Flink实现一个通用、配置化的海量数据流、批处理产品

11.1实现配置管理
11.2实现数据源加载
11.3实现主流程控制
11.4实现任务管理

十二、Flink部署与应用

12.1 Flink集群部署
12.2 Flink高可用配置
12.3 Flink安全管理
12.4 Flink集群升级
12.5 Flink on Yarn的原理和运行方式
12.6 Flink on Yarn 提交任务与停止任务

十三、Flink监控与性能优化

13.1 监控指标
13.2 Backpressure监控与优化
13.3 Checkpointing监控与优化
13.4 Flink内存优化

十四、Flink组件栈介绍与使用

14.1 Flink复杂事件处理
14.2 Flink Gelly图计算应用
14.3 FlinkML机器学习应用
14.4 Flink Metrics 与监控

十五、Flink源码学习

15.1 Flink源码编译
15.2 如何阅读和学习Flink源码
15.3 Flink源码实现思路以及依赖管理
15.4 Flink核心模块源码带读与分析

十六、Flink在各大互联网公司的典型应用剖析

16.1Flink在阿里的应用
16.2Flink在字节跳动的应用
16.3Flink在腾讯的应用
16.4Flink在微博的应用
16.5Flink在其他互联网公司的应用
16.6Flink 最佳实践

十七、实战项目2:使用Flink实现电商用户支付行为分析和审计风控

17.1电商支付数据模型(订单,流水,账户余额,发现表)
17.2用户行为分析需求与维度指标设计
17.3审计风控的需求与实现思路
17.4Flink代码实现结构与业务逻辑细节拆解

 

 

 




如果您想学习本课程,请预约报名
如果没找到合适的课程或有特殊培训需求,请订制培训
除培训外,同时提供相关技术咨询与技术支持服务,有需求请发需求表到邮箱soft@info-soft.cn,或致电4007991916
技术服务需求表点击在线申请

服务特点:
海量专家资源,精准匹配相关行业,相关项目专家,针对实际需求,顾问式咨询,互动式授课,案例教学,小班授课,实际项目演示,快捷高效,省时省力省钱。

专家力量:
中国科学院软件研究所,计算研究所高级研究人员
oracle,微软,vmware,MSC,Ansys,candence,Altium,达索等大型公司高级工程师,项目经理,技术支持专家
中科信软培训中心,资深专家或讲师
大多名牌大学,硕士以上学历,相关技术专业,理论素养丰富
多年实际项目经历,大型项目实战案例,热情,乐于技术分享
针对客户实际需求,案例教学,互动式沟通,学有所获
报名表下载
联系我们 更多>>

咨询电话010-62883247

                4007991916

咨询邮箱:soft@info-soft.cn  

 

微信号.jpg

  微信咨询

随时听讲课

聚焦技术实践

订制培训 更多>>