课程培训
中国商飞大数据培训,数据采集、数据处理和数据建模培

中国商飞大数据培训,数据采集、数据处理和数据建模培训

 

近期,中科信软针对客户的实际大数据培训需求,给中国商飞提供了高质量的大数据培训,培训效果获得了客户的高度认可。

 

客户培训背景情况

 

专业从事数据处理、数据架构和数据分析与开发的相关人员

学员基础

 

对基于大数据平台的数据采集、数据处理和数学建模知识了解不多;在实际工作中数据采集与数据处理能力有待提升。

 

 

本次培训主要目标

.有明确培训目标

 

1、通过基于大数据平台的数据采集和数据处理学习,提升相关人员的技术能力,为数据平台的建设做准备。

2、学习数学建模的基础知识,为相关人员提供知识储备。

 

 

 

 

 

培训重点内容

 

1.学习基于大数据平台的数据采集、数据处理和数据建模基础知识。

2.学习基于大数据平台的数据采集、数据处理各类方法以及实际工作中常用的数据处理技巧、案例等。

3.学习数学建模在业务工作中的整个操作流程、常用的相关模型以及经典案例等。

 

主题

内容

 

 

大数据发展历程及主流技术栈构成

1. 为什么会出现大数据,大数据的演进过程是怎么样的
2. 商业智能BI、数据仓库DW、数据湖DL、数据中台的原理、区别和核心职能
3. 支撑大数据平台的主流框架技术介绍:Spark、Flink、HDFS、HBase、Hive、Kylin、Presto、Kafka、ClickHouse

 

 

 

 

 

 

整体大数据平台核心板块构成及架构设计

1. 整体大数据处理链路介绍及每个环节的技术选型方案
2. 五大核心板块介绍:数据接入处理(收集、接收、解析、标准化 等)、数据治理与管理(安全脱敏、ID-Mapping血缘图谱、主体式数据仓库 等)、数据消费提取(批量、实时、T+1、API 等)、数据链路跟踪(数据回溯、中间状态追踪、数据服务保障 等)、数据工具支撑(可视化建模、任务调度、数据搬迁 等)
3. 整体大数据架构设计介绍:技术架构、存储与计算架构、部署架构、容灾架构,实时流计算,离线存储的核心本质,如何监测实时流处理过程中的问题回溯
4. HDFS、HBase、Hive、Kylin、Spark Streaming/SQL、Flink的底层核心原理及适用业务场景(结合实际工程代码方式讲解)

大型分布式数据仓库建模思路与实践

1. 软件系统建模方法:(结构型类图、对象图、构件图、部署图、包图;(行为型动图、状态机图、顺序图、通信图、用例图、时间图
2. 常用数据建模方法:实体建模法、维度建模法、范式建模法(结合案例讲解)
3. 基于中台思想,数据分层的主体思路与重要性介绍
4. 基于分布式数据仓库,针对数据的采集、处理、建模的最佳实践介绍
5. 数据仓库建设方法论,星型模型(非关系型DB存储,以空间换时间)和雪花模型(关系型DB存储,以时间还空间)两种建模思想的核心差异和适用场景

 

 

 

 

数据建模与处理行业案例分析(思路、方法、技术选型)

1. 基于事件驱动U-E建模,结合业务分拆数据处理粒度、维度、范围、边界,如:主题式抽取,数据标签化定义 等
2. 结合业务讲解E-R模型构建,动态、静态属性识别,数据客观事实关系识别与定义
3.  基于车联网领域秒级、毫秒级数据上报如何接 收与处理,以及如何将其实时数据和离线的历史数据 结合处理分析
4. 如何解决数据挤压问题,有哪些成熟的方法和技术手段

5. 数据接入云端后,如何防丢失,如何做削峰处理,如何保障后续服务健康运行
6. 案例分析:数据接收、解析、建模、存储、计算、提取全流程中行业如何实战落地

 

 




如果您想学习本课程,请预约报名
如果没找到合适的课程或有特殊培训需求,请订制培训
除培训外,同时提供相关技术咨询与技术支持服务,有需求请发需求表到邮箱soft@info-soft.cn,或致电4007991916
技术服务需求表下载请点击

服务特点:
海量专家资源,精准匹配相关行业,相关项目专家,针对实际需求,顾问式咨询,互动式授课,案例教学,小班授课,实际项目演示,快捷高效,省时省力省钱。

专家力量:
中国科学院软件研究所,计算研究所高级研究人员
oracle,微软,vmware,MSC,Ansys,candence,Altium,达索等大型公司高级工程师,项目经理,技术支持专家
中科信软培训中心,资深专家或讲师
大多名牌大学,硕士以上学历,相关技术专业,理论素养丰富
多年实际项目经历,大型项目实战案例,热情,乐于技术分享
针对客户实际需求,案例教学,互动式沟通,学有所获
报名表下载
联系我们 更多>>

咨询电话010-62883247

                4007991916

咨询邮箱:soft@info-soft.cn  

 

微信号.jpg

  微信咨询

随时听讲课

聚焦技术实践

订制培训 更多>>