课程培训
Hadoop与Spark大数据架构专题培训课程

 

课程信息

当下是大数据时代,为构建大数据平台,需要对分布式数据收集,大数据存储,分布式计算,资源管理等系统有全面而又深入的理解。众所周知,大数据源自于互联网行业,目前互联网公司已有一套完善的大数据平台建设方案,大部分选用开源的Hadoop和Spark两大生态系统,本课程正是以这两套系统为主介绍大数据平台及架构的构建策略及经验。

培训特色

当下是大数据时代,为构建大数据平台,需要对分布式数据收集,大数据存储,分布式计算,资源管理等系统有全面而又深入的理解。众所周知,大数据源自于互联网行业,目前互联网公司已有一套完善的大数据平台建设方案,大部分选用开源的Hadoop和Spark两大生态系统,本课程正是以这两套系统为主介绍大数据平台及架构的构建策略及经验。

目标收益

本课程将为大家全面而又深入的介绍大数据平台的构建流程,涉及分布式数据收集,大数据存储,资源管理及分布式计算框架等。本课程重点以Hadoop和Spark两大生态系统作为基准进行介绍,涉及Flume,HDFS,Hbase,YARN,MapReduce,Hive,Zookeeper,Spark,Storm,SparkStreaming等主流的大数据开源系统架构及应用经验。

培训对象

各类IT/软件企业和研发机构的软件架构师、软件设计师、程序员。对于怀有设计疑问和问题,需要梳理解答的团队和个人,效果最佳。

学员基础

了解Java语言、Linux系统;

课程大纲

 

主题 内容

大数据架构概述

1.1大数据层级架构及各层软件设计要求,包括数据收集、存储、计算框、应用
1.2 Hadoop生态系统概述以及版本演化,并给出版本选择建议。
1.3 Spark生态系统概述及其特点,并与Hadoop对比

数据收集系统Flume与Sqoop

2.1使用flume和sqoop两个系统将外部流式数据(比如网站日志,用户行为数据等)、关系型数据库(比如MySQL、Oracle等)中的数据导入Hadoop中进行分析和挖掘

大数据存储系统HDFS与HBase

3.1 与HDFS1.0进行对比介绍2.0原理、特性与基本架构(快照、缓存、异构存储)。
3.2 HBase原理,基本架构与案例分析
3.3 HBase应用场景、原理和架构,典型应用案例(互联网、银行)

集群资源管理与调度系统

4.1 介绍YARN应用场景、基本架构与资源调度

Zookeeper部署及典型应用

5.1 介绍Zookeeper是什么,基本原理及在应用

大数据计算平台

介绍主流的三大类大数据计算框架,分别是批处理、交互式计算和流式计算框架,并选取当下主流的开源实现进行介绍。
6.1 批处理计算框架
6.1.1 MapReduce2.0基本原理与架构、程序编写(使用java、C++、php语言)
6.1.2 数据分析系统Hive与Pig应用与比较,如何使用其中的海量数据
6.1.3 Spark计算框架,背景及应用案例
6.2 交互式计算框架,Impala和presto应用场景,基本架构和典型应用案例
6.3 流式/实时计算框架,storm、SparkStreaming基本架构特点,及应用案例

数据挖掘与机器学习库

7.1 Mahout与MLlib两个主流的分布式数据挖掘与机器学习库的实现以及应用案例。




如果您想学习本课程,请预约报名
如果没找到合适的课程或有特殊培训需求,请订制培训
除培训外,同时提供相关技术咨询与技术支持服务,有需求请发需求表到邮箱soft@info-soft.cn,或致电4007991916
技术服务需求表点击在线申请

服务特点:
海量专家资源,精准匹配相关行业,相关项目专家,针对实际需求,顾问式咨询,互动式授课,案例教学,小班授课,实际项目演示,快捷高效,省时省力省钱。

专家力量:
中国科学院软件研究所,计算研究所高级研究人员
oracle,微软,vmware,MSC,Ansys,candence,Altium,达索等大型公司高级工程师,项目经理,技术支持专家
中科信软培训中心,资深专家或讲师
大多名牌大学,硕士以上学历,相关技术专业,理论素养丰富
多年实际项目经历,大型项目实战案例,热情,乐于技术分享
针对客户实际需求,案例教学,互动式沟通,学有所获
报名表下载
联系我们 更多>>

咨询电话010-62883247

                4007991916

咨询邮箱:soft@info-soft.cn  

 

微信号.jpg

  微信咨询

随时听讲课

聚焦技术实践

订制培训 更多>>