Apache Airflow 工作流调度平台培训课程-中科信软培训中心

Apache Airflow 工作流调度平台培训课程

培训对象：数据工程师、平台开发工程师、DevOps人员、需要通过代码定义、调度和监控工作流的团队。
培训目标：
1. 理解Airflow的核心概念（DAG、Operator、Task、Executor）与架构设计。
2. 熟练使用Python编写DAG定义，实现复杂的任务依赖与数据管道。
3. 掌握Airflow的部署、监控与扩展方法，构建企业级的工作流调度平台。
培训内容介绍：
1. Airflow核心思想：了解Airflow“Configuration as Code”的理念，熟悉其发展历程与生态组件。
2. 架构与组件：深入理解Web Server、Scheduler、Worker、Metastore的角色与交互。
3. 环境安装与配置：使用Docker或本地方式安装Airflow，配置Executor与数据库后端。
4. 第一个DAG：使用Python编写第一个DAG定义，理解default_args、schedule_interval等核心参数。
5. Operator实战：学习BashOperator、PythonOperator的用法，执行Shell命令和Python函数。
6. 任务依赖定义：使用bitshift运算符（>>、<<）或set_upstream/downstream方法定义任务依赖。
7. 分支与条件逻辑：使用BranchPythonOperator实现动态分支，根据条件选择执行路径。
8. 传感器与外部触发：使用传感器等待外部条件满足（如文件到达、SQL查询完成）。
9. XComs任务通信：在任务间通过XCom传递小规模数据，实现任务间的数据交换。
10. 连接与Hook：配置数据库、API等外部系统连接，使用Hook简化集成开发。
11. 部署与扩展：将Airflow部署到Celery或Kubernetes Executor，实现分布式任务执行。
12. 监控与告警：配置邮件或钉钉告警，查看任务执行树与甘特图，分析任务瓶颈。

如果您想学习本课程，请预约报名
如果没找到合适的课程或有特殊培训需求，请订制培训
除培训外，同时提供相关技术咨询与技术支持服务，有需求请发需求表到邮箱soft@info-soft.cn,或致电4007991916
技术服务需求表点击在线申请

服务特点：
海量专家资源，精准匹配相关行业，相关项目专家，针对实际需求，顾问式咨询，互动式授课，案例教学，小班授课，实际项目演示，快捷高效，省时省力省钱。

专家力量：
中国科学院软件研究所，计算研究所高级研究人员
oracle,微软，vmware，MSC,Ansys，candence,Altium,达索等大型公司高级工程师，项目经理，技术支持专家
中科信软培训中心，资深专家或讲师
大多名牌大学，硕士以上学历，相关技术专业，理论素养丰富
多年实际项目经历，大型项目实战案例，热情，乐于技术分享
针对客户实际需求，案例教学，互动式沟通，学有所获