Hadoop原理、部署、编程与性能调优培训课程-中科信软培训中心

课程目标：

Hadoop大观园，介绍Hadoop生态系统的各个组成模块与适用场景。
Hadoop部署与编程，讲解演示在生产环境中选用和配置服务器需要注意的事项，介绍HDFS编程的Java API使用。
Hadoop集群架构搭建
MapReduce编程与调优：讲解演示MapReduce的中高级应用开发与调优技能。
Hive编程与调优：讲解演示MapReduce的中高级应用开发与调优技能。
HBase编程与调优：讲解演示HBase的中高级应用开发与调优技能。
Hadoop系统管理：讲解Hadoop系统的高级配置与管理技能。
培训内容：

Hadoop大观园	文件存储-HDFS HDFS-工作原理数据计算MapReduce MapReduce工作原理 SQL分析-Hive 海量实时读写-HBase 工作流调度-Ooize 分布式协调系统—Zookeeper
Hadoop部署与编程	Hadoop版本介绍与选择 Hadoop部署实践 a) Hadoop安装文件构成与配置体系 b) 机器硬件建议配置 c) 系统环境配置 d) 基本参数配置与说明 e) 进程分布规划与启动 Hadoop基本使用操作 a) HDFS b) 权限 c) MapReduce HDFS编程 a) 开发环境准备 b) 读文件 c) 写文件
Hadoop集群架构搭建	Hadoop集群架构搭建方法 Hadoop集群架构性能管理 HDFS，NameNode，DataNode的调优和节点扩展最佳实践主要调优工具和性能监控工具 Hadoop集群对于硬件的要求和选型 Hadoop集群中对硬件、操作系统的调优方法实际案例分析基于Hadoop的集群解决方案
MapReduce编程与调优	MR与YARN介绍编程实战基本MapReduce程序编写基于MapReduce的高级操作（排序，分区，二次排序）基于MapReduce的Join操作调整MR框架运行参数，提升运行效率选择合适的Map与Reduce数量设置Map端参数设置Reduce端参数使用HPROF对MR任务进行Profiling 代码调试运行日志
Hive编程与调优	Hive系统部署与搭建 Hive工作机制基于Hive的网站日志分析示例 Hive的用户自定义函数开发 Hive底层数据文件与数据压缩选择 gzip bz2 lzo rcfile Hive运行参数调优 Hive程序编写性能建议 MapJoin 数据倾斜 Join顺序 UDF编写注意事项快速获取结果TopN 通过Explain观察Hive行为
HBase编程与调优	HBase系统架构基于HBase的网盘应用示例 HBase性能测试 HBase编程与调优 HBase系统部署与搭建 HBase系统架构与原理 HBase编程基础 HBase高级编程功能与实例 Filter Coprocessor HBase数据存储编码选择压缩 Avro HBase性能测试与分析
Hadoop系统管理	Hadoop系统性能监控系统（Ganglia）搭建 Hadoop系统容灾策略 Hadoop资源调度策略 Hadoop高级配置参数 Hadoop安全 Hadoop系统监控与报警策略总结、答疑