课程培训
企业大数据平台架构设计与湖仓一体实战培训课程

培训对象:大数据平台架构师、数据平台开发工程师、数据仓库工程师、技术经理/CTO、负责数据平台选型与建设的技术决策者。

培训目标:掌握企业级大数据平台总体架构设计方法;理解数据湖、数据仓库与湖仓一体的演进逻辑与适用场景;能够基于Iceberg/Hudi/Delta Lake等主流技术完成湖仓一体方案设计与落地;具备平台选型、分层架构、元数据与权限体系设计能力。

培训内容:

  1. 1.企业大数据平台演进:从传统数仓到数据湖、湖仓一体的技术脉络与业务驱动力。

  2. 2.大数据平台总体架构:采集层、存储层、计算层、调度层、服务层、治理层分层设计。

  3. 3.数据湖核心技术与选型:HDFS/S3、Parquet/ORC、Hive Metastore与对象存储实践。

  4. 4.湖仓一体核心原理:ACID事务、Schema演进、时间旅行、增量读取与小文件治理。

  5. 5.主流湖仓技术对比:Iceberg、Hudi、Delta Lake的架构差异、性能特征与选型建议。

  6. 6.批流一体存储设计:Kafka、Flink与湖仓表的集成,CDC入湖与准实时入湖方案。

  7. 7.计算引擎架构:Spark、Flink、Trino/Presto在离线、实时、交互查询中的分工与协同。

  8. 8.元数据与数据目录:统一元数据服务、数据发现、血缘采集与Catalog体系设计。

  9. 9.权限与安全体系:认证、授权、行列级权限、数据脱敏与多租户隔离。

  10. 10.资源调度与成本优化:YARN/K8s调度、弹性扩缩容、存储分层与计算成本治理。

  11. 11.湖仓一体典型场景实战:ODS→DWD→DWS→ADS分层建模与湖上数仓落地。

  12. 12.平台架构案例复盘:从需求分析、架构评审到上线运维的完整项目方法论。




如果您想学习本课程,请预约报名
如果没找到合适的课程或有特殊培训需求,请订制培训
除培训外,同时提供相关技术咨询与技术支持服务,有需求请发需求表到邮箱soft@info-soft.cn,或致电4007991916
技术服务需求表点击在线申请

服务特点:
海量专家资源,精准匹配相关行业,相关项目专家,针对实际需求,顾问式咨询,互动式授课,案例教学,小班授课,实际项目演示,快捷高效,省时省力省钱。

专家力量:
中国科学院软件研究所,计算研究所高级研究人员
oracle,微软,vmware,MSC,Ansys,candence,Altium,达索等大型公司高级工程师,项目经理,技术支持专家
中科信软培训中心,资深专家或讲师
大多名牌大学,硕士以上学历,相关技术专业,理论素养丰富
多年实际项目经历,大型项目实战案例,热情,乐于技术分享
针对客户实际需求,案例教学,互动式沟通,学有所获
报名表下载
联系我们 更多>>

咨询电话:010-62883247

                4007991916

咨询邮箱:soft@info-soft.cn  

 

  微信咨询

随时听讲课

聚焦技术实践

订制培训 更多>>