Hadoop、spark和NoSQL大数据培训课程

大数据在国内的运用

大数据在国内的使用介绍
离线计算框架介绍
流式计算框架介绍
内存计算框架介绍
内存流式计算介绍

大数据的整体技术架构

开源大数据技术架构
开源大数据常用组件之间的依赖关系
离线计算框架介绍
—Mapreduce、Hive、Tez、Presto、Kylin

实时查询框架介绍
—NoSQL、Hbase

实时计算框架介绍
—Kafka、Strom、Spark Streaming

内存计算框架介绍
—Spark、SparkSQL、SparkMllib、SparkR

前沿大数据技术介绍
—Flink、Drill、Druid、KUDU等

海量日志快速检索架构
—ELK（Elasticsearch、Logstash、Kibana）等

Hadoop平台优化点

Linux系统的优化
最佳硬件的选择和建议
HDFS架构和原理
HDFS的优化、维护和经常出现的问题
MapReduce架构和原理
MapReduce的优化、维护和经常出现的问题
Yarn的内存、CPU和IO的优化
Hbase的优化和生产环境常见的问题
Hive的优化和Hive的改进工具介绍
Impala、Kylin、Presto工具介绍
RCFile、ORC和parquet格式介绍

Hadoop核心组件的运维和配置

HDFS的元数据管理
FSimage和Edit文件解析
手动修改FSimage和Edit文件
HDFS HA的架构运维解析
Yarn服务运维详解
Yarn核心配置参数的详解
Hbase服务运维详解
手动设置Split和Compaction操作
RS宕机的运维处理
Hbase 超大表的优化实践

Yarn实战

Yarn架构和原理
ResourceManager工作原理
NodeManager工作原理
基于IO的控制这是
Yarn为某个运用独立分配资
基于队列的资源管理配置
基于底层硬件的SLA资源配置
不同部门或者用户的资源配置

NoSQL和Hbase使用

NoSQL介绍
NoSQL应用场景
Hbase原理
Hmaster详解
RegionServer详解
Zookeeper介绍
Hbase安装
Hbase逻辑视图介绍
Hbase物理视图介绍
Hbase的二级索引介绍
Hbase 的DDL和DML
Hbase表的设计案例
Hbase的import功能介绍
MapReduce操作Hbase
Hbase的 thrift Server介绍
Hbase 的API介绍
Hbase使用场景介绍
Hbase案例分析

Spark Streaming原理和实践

Spark Streaming原理
ApplicationMaster工作原理
Yarn的资源控制机制
基于内存的控制设置
基于CPU的控制设置
• Spark流式处理架构
• DStream的特点
• Dstream的操作和RDD的区别
• SatefulRDD和windowRDD实战
• Kafka+Spark Steaming实战
• Spark Streaming的优化
Kafka+Spark Streaming实例
• 文本实例
网络数据处理

Spark SQL原理和实践

Spark SQL原理
• Spark SQL的Catalyst优化器
• Spark SQL内核
• Spark SQL和Hive
DataFrame和DataSet架构
Fataframe、DataSet和Spark SQL的比较
SparkSQL parquet格式实战
Spark SQL的实例和编程
• Spark SQL的实例操作demo
Spark SQL的编程

Spark优化

Spark SQL的优化
基于Spark计算的文件格式选择
Spark on Yarn的优化
Spark SQL执行计划的优化
Spark 内存管理的机制

互联网大数案例分享

互联网大数据应用案例介绍
某银行基于大数据平台风险监控案例
某银行基于大数据数据湖的案例

  微信咨询

随时听讲课

聚焦技术实践