主题

章节

详细内容

大数据平台概览

大数据处理平台架构基础

大数据的产生背景、发展历程
大数据和云计算的关系
大数据应用需求以及潜在价值分析
业界最新的大数据技术发展态势与应用趋势
大数据项目的技术选型与大数据处理系统架构设计
“互联网+”时代下的电子商务、制造业、零售批发业、电信运营商、互联网金融业、网上银行、电子政务、移动互联网、教育信息化等行业应用实践与应用案例剖析

业界主流的大数据技术产品与项目解决方案

国内外主流的大数据解决方案介绍
当前大数据解决方案与传统数据库方案的剖析比较
Apache大数据平台方案剖析
CDH大数据平台方案剖析
HDP大数据平台方案剖析
开源的大数据生态系统平台剖析

Hadoop大数据平台核心技术剖析

Hadoop的发展历程以及产业界的实际应用介绍
Hadoop大数据平台架构
基于Hadoop平台的PB级大数据存储管理与分析处理的工作原理与机制
Hadoop的核心组件剖析

Hadoop的大数据体系架构

Hadoop的起源

什么是大数据？
专有云上的混搭平台设计
OLTP系统和OLAP系统
数据仓库的基本概念
Google的基本思想

Hadoop的体系结构和原理

海量数据的存储HDFS

·  文件上传的过程

·  文件下载的过程

·  原信息的合并过程

海量数据的计算MapReduce

·  YARN的工作原理

·  MapReduce作业执行的过程和原理

HBase的基本架构

Hadoop集群模式的安装和配置

单机模式的安装和配置
伪分布模式的安装和配置
免密码登录的原理
配置Hadoop的集群环境
配置和使用HUE

Hadoop HA

集群的规划
安装Zookeeper集群环境
安装配置hadoop集群
验证HDFS的HA
验证YARN

Hadoop应用案例分析

案例一：互联网应用架构
案例二：日志分析
案例三：Hadoop在淘宝的应用

分布式文件系统HDFS

访问HDFS

使用命令行访问HDFS文件系统
使用Java编程接口访问HDFS文件系统

HDFS的高级特性

什么是HDFS的联盟
HDFS的回收站
HDFS的配额
HDFS的权限

HDFS的底层原理

什么是RPC通信？
什么是动态代理？

HDFS的优化

NameNode的优化策略
SecondaryNameNode的优化策略
文件存储的优化
HDFS的瓶颈和解决方案

HDFS的NameNode联盟

什么是NameNode的联盟
NameNode的体系架构
搭建NameNode的联盟架构

分布式计算模型MapReduce和Yan

MapReduce基础编程

MapReduce的基本概念和原理
数据在MapReduce的流动过程
第一个MapReduce程序和运行MapReduce程序

MapReduce高级编程

序列化的基本概念
编写MapReduce序列化的程序
MapReduce的排序
MapReduce的分区
什么是Combiner
什么是Shuffle

Yarn的优化

Yarn的内存使用
Yarn的资源调度策略
MapReduce任务的优化

数据分析引擎

数据分析之Hive

·  什么是Hive和Hive的体系结构

·  安装和配置Hive

·  使用HQL

·  Hive的客户端：CLI客户端和Java编程

·  接口

Hive的自定义函数
Hive的数据模型

·  内部表

·  分区表

·  桶表

·  视图

·  物化视图

数据分析之Pig

什么是Pig和Pig的体系结构
安装和配置Pig
Pig的数据模型
使用Pig Latin语句进行数据的分析
Pig的自定义函数

数据交换引擎

Sqoop和Flume

使用Sqoop进行数据的交换

·  什么是Sqoop体系结构

·  使用Sqoop进行数据的交换

使用Flume进行数据的采集

·  什么是Flume体系结构

·  使用Flume进行数据的采集

基于HDFS的存储系统

HBase数据库

HBase简介及其在Hadoop中的位置
HBASE的伪分布的搭建
HBASE的底层存储模型和基本概念
HBASE的读写原理
HBASE的高级特性
HBase的体系结构
HBASE Shell
HBASE的批量导入
HBASE的Java客户端

分布式协调服务

Zookeeper

什么是Zookeeper?及其功能
Zookeeper的体系结构和数据模型
Zookeeper安装及测试
Zookeeper的Java接口
Watcher及内部事件
Zookeeper的工作原理
基于ZooKeeper的大数据的HA架构及其实现

基于Spark的大数据分析平台

Scala编程语言

Scala语言基础
Scala语言的面向对象
Scala语言的函数式编程
Scala中的集合
Scala语言的高级特性

Spark Core核心

什么是Spark？Spark生态圈
Spark的体系结构与安装部署
执行Spark Demo程序
Spark运行机制及原理分析
Spark的算子
Spark RDD的高级算子
Spark基础编程案例

Spark SQL数据分析引擎

Spark SQL基础
使用数据源
性能优化
在IDEA中开发Spark SQL程序

Spark Streaming流式计算框架

Structured Streaming基础
Structured Streaming的程序模型
Datasets 和 DataFrames API
管理和监控流式查询

基于Hadoop和Spark大数据平台的机器学习

Mahout和Spark MLlib

在机器学习中的使用，常用算法实战（Mahout和spark MLlib）

·  Mahout与Spark MLLib

·  基于协同过滤算法

·  基于ALS协同过滤算法

·  基于Spark MLLib的逻辑回归算法

下一代大数据处理引擎

Flink

Flink介绍
Flink的数据集
Flink两种执行模型
Flink-流计算模型-有界数据集处理
Flink的DataSet API
Flink的DataStream API
广播变量、累加器和计数器
状态管理和恢复
Window和Time
Flink Table & SQL