课程培训
Spark培训——提高云计算大数据速度培训课程

 Spark培训——提高云计算大数据速度培训课程

培训内容

第一部分:

1Spark的架构设计

1.1 Spark的速度为什么如此的快?

1.2 Spark的架构设计剖析

1.3 RDD计算流程解析

1.4 Spark的出色容错机制

2实战使用三种语言开发Spark

2.1 Scala简介、为什么Spark会使用Scala作为开发语言?

2.2 Spark中使用Scala

2.3 使用Java开发Spark程序

2.4 使用Python开发Spark程序

2.5 深入使用Spark Shell

3快速掌握Scala

3.1 Scala变量声明、操作符、函数的使用实战

3.2 apply方法

3.3 Scal的控制结构和函数

3.4 Scala数组的操作、Map的操作

3.5 Scala中的类

3.6 Scala中对象的使用;

3.7 Scala中的继承

3.8 Scala中的特质

3.9 Scala中集合操作

4Spark集群的安装和设置

4.1 在一台机器上运行Spark

4.2 EC2上运行Spark

4.3 Mesos上部署Spark

4.4 YARN上部署Spark

4.5 通过SSH在众多机器上部署Spark

4.6 Spark集群设置

5编写Spark程序

5.1 程序数据的来源:FileHDFSHBaseS3

5.2 IDE环境构建

5.3 Maven

5.4 sbt.

5.5 编写并部署Spark程序的实例

第二部分

6SparkContext解析和数据加载以及存储

6.1 源码剖析SparkContext

6.2 ScalaJavaPython使用SparkContext

6.4 加载数据成为RDD

6.5 把数据物化

7深入实战RDD

7.1 DAG

7.2 深入实战各种Scala RDD Function 

7.3 Spark Java RDD Function

7.4 RDD的优化问题

8Shark的原理和使用

8.1 SharkHive

8.2 安装和配置Shark

8.3 使用Shark处理数据

8.4 Spark程序中使用Shark Queries

8.5 SharkServer

8.6 思考Shark架构

9Spark程序的测试

9.1 编写可测试的Spark程序

9.2 Spark测试框架解析

9.3 Spark测试代码实战

10Spark的优化

10.1 Logs

10.2 并发

10.3 内存

10.4 垃圾回收

10.5 序列化

10.6 安全

第三部分

11Spark的机器学习

11.1 LinearRegression

11.2 K-Means

11.3 Collaborative Filtering

12Spark的图计算GraphX

12.1 Table Operators

12.2 Graph Operators

12.3 GraphX

13Spark SQL

13.1 Parquet支持

13.2 DSL

13.3 SQL on RDD

14Spark实时流处理

14.1 DStream

14.2 transformation

14.3 checkpoint

14.4 性能优化




如果您想学习本课程,请预约报名
如果没找到合适的课程或有特殊培训需求,请订制培训
除培训外,同时提供相关技术咨询与技术支持服务,有需求请发需求表到邮箱soft@info-soft.cn,或致电4007991916
技术服务需求表点击在线申请

服务特点:
海量专家资源,精准匹配相关行业,相关项目专家,针对实际需求,顾问式咨询,互动式授课,案例教学,小班授课,实际项目演示,快捷高效,省时省力省钱。

专家力量:
中国科学院软件研究所,计算研究所高级研究人员
oracle,微软,vmware,MSC,Ansys,candence,Altium,达索等大型公司高级工程师,项目经理,技术支持专家
中科信软培训中心,资深专家或讲师
大多名牌大学,硕士以上学历,相关技术专业,理论素养丰富
多年实际项目经历,大型项目实战案例,热情,乐于技术分享
针对客户实际需求,案例教学,互动式沟通,学有所获
报名表下载
联系我们 更多>>

咨询电话010-62883247

                4007991916

咨询邮箱:soft@info-soft.cn  

 

微信号.jpg

  微信咨询

随时听讲课

聚焦技术实践

订制培训 更多>>