课程培训
Hadoop企业级完整实战培训课程

 Hadoop企业级完整实战培训课程

HDFS&MapReduce&HBase&Hive&Zookeeper&Pig&Project

培训内容

第一部分

1个主题:Hadoop三问(彻底理解Hadoop

1、 Hadoop为什么是云计算分布式大数据的事实开源标准软件框架?

2Hadoop的具体是如何工作?

3Hadoop的生态架构和每个模块具体的功能是什么?

2主题:彻底掌握HDFS(具备开发自己网盘的能力)

1HDFS体系架构剖析

2NameNodeDataNodeSecondaryNameNode架构

3、保证NodeName高可靠性最佳实践

4DataNodeBlock划分的原理和具体存储方式

5、修改NamenodeDataNode数据存储位置

6、使用CLI操作HDFS

7、使用Java操作HDFS

3主题:彻底掌握HDFS(具备修改HDFS具体源码实现的能力)

1RPC架构剖析

2、源码剖析Hadoop构建于RPC之上

3、源码剖析HDFSRPC实现

4、源码剖析客户端与与NameNodeRPC通信

4个主题:彻底掌握MapReduce(从代码的角度剖析MapReduce执行的具体过程并具备开发MapReduce代码的能力)

1MapReduce执行的经典步骤

2wordcount运行过程解析

3MapperReducer剖析

4、自定义Writable

5、新旧API的区别以及如何使用就API

6、把MapReduce程序打包成Jar包并在命令行运行

第二部分

1个主题:彻底掌握MapReduce(具备掌握Hadoop如何把HDFS文件转化为Key-Value让供Map调用的能力)

1、 Hadoop是如何把HDFS文件转化为键值对的?

2、 源码剖析Hadoop读取HDFS文件并转化为键值对的过程实现

3、 源码剖析转化为键值对后供Map调用的过程实现

2个主题:彻底掌握MapReduce(具备掌握MapReduce内部运行和实现细节并改造MapReduce的能力)

1、 Hadoop内置计数器及如何自定义计数器

2、 Combiner具体的作用和使用以及其使用的限制条件

3、 Partitioner的使用最佳实践

4、 Hadoop内置的排序算法剖析

5、 自定义排序算法

6、 Hadoop内置的分组算法

7、 自定义分组算法

8、 MapReduce常见场景和算法实现

3个主题:实战ZooKeeper(具备理解并通过命令行和Java两种方式操作ZooKeeper的能力)

1ZooKeeper架构剖析及集群搭建

2、使用命令行操作ZooKeeper

3、使用Java操作ZooKeeper

4个主题:实战HBase(具备掌握HBase企业级开发和管理的能力)

1、 HBase架构实现

2、 HBase的数据模型和存储模型

3、 使用CLI操作HBase

4、 使用Java操作HBase

5、 使用MapReduce代码向HBase中导入批量数据

第三部分

1个主题:实战Pig(具备掌握Pig企业级开发和管理的能力)

1、 Pig架构

2、 使用Pig操作数据的内幕

3、 使用Pig实例数据

2个主题:实战Hive(具备掌握Hive企业级开发和管理的能力)

1、 Hive架构剖析

2、 HiveHDFS中存储实现

3、 使用MySQL作为HiveMetastore

4、 内部表、分区表、外部表、桶表

5、 视图

6、 自定义Hive的函数

3个主题:某知名电商Hadoop项目(具备掌握Hadoop完整项目的分析、开发、部署的全过程的能力)

通过电信商搜集用户接打电话、上网等产生的日志对用户的电话和网络行为进行分析和监控,初步贯穿前面讲解的主要内容,使大家熟悉Hadoop一个完整项目的分析、开发、部署的全过程。




如果您想学习本课程,请预约报名
如果没找到合适的课程或有特殊培训需求,请订制培训
除培训外,同时提供相关技术咨询与技术支持服务,有需求请发需求表到邮箱soft@info-soft.cn,或致电4007991916
技术服务需求表点击在线申请

服务特点:
海量专家资源,精准匹配相关行业,相关项目专家,针对实际需求,顾问式咨询,互动式授课,案例教学,小班授课,实际项目演示,快捷高效,省时省力省钱。

专家力量:
中国科学院软件研究所,计算研究所高级研究人员
oracle,微软,vmware,MSC,Ansys,candence,Altium,达索等大型公司高级工程师,项目经理,技术支持专家
中科信软培训中心,资深专家或讲师
大多名牌大学,硕士以上学历,相关技术专业,理论素养丰富
多年实际项目经历,大型项目实战案例,热情,乐于技术分享
针对客户实际需求,案例教学,互动式沟通,学有所获
报名表下载
联系我们 更多>>

咨询电话010-62883247

                4007991916

咨询邮箱:soft@info-soft.cn  

 

微信号.jpg

  微信咨询

随时听讲课

聚焦技术实践

订制培训 更多>>