大数据分析平台系统培训课程

（1）培训背景

大数据应用技术经过最近几年的爆发性发展，已经在各行各业产生了广泛而深刻的影响，但是我们仍然面对三大挑战：

1. 人才缺口巨大。需要大量的工程师从其他方向转型投入到大数据方向上来，他们有基础、有经验，但是缺乏人工领域的专业知识，需要为他们在数据，算法，算力等多个层面上给予系统的指导，以便这些工程师尽快投入到大数据开发的工作中来。

2. 从技能本身的角度来看，大数据是综合交叉学科，以数据为基础，算法为核心，业务理解和编程实现为手段，如何利用这些技术给我们和客户带来最大的价值，业界大多数人仍然对此没有深入的认识，而这些问题是关系到竞争力和价值创造的核心问题。

3. 大数据业务落地应用效果产出的核心是大数据平台开发技术，如何掌握大数据平台开发语言更好的解决我们的业务问题，关系到我们业务价值的快速实现。

（2）培训目标

从解决客户实际问题出发，该人才培养方案的从三个角度做出了创新：

1. 内容深度上的创新，在过去的十年，整个IT技术栈，从底层存储和计算到上层机器学习应用实现，大数据分布式存储和分布式并行计算框架及应用都做了很多的改变。因此，我们相比传统的大数据课程，增加了计算机组成、操作系统和集群技术的内容，同时在上层增加了大数据应用架构、业务应用场景和最佳实践案例的内容。

2. 内容广度上的创新，IT技术发展至今，“生态”二字越来越重要，尤其是当我们探讨大数据落地应用的时候，更不能离开生态孤立地讨论大数据技术。本课程将基于授课讲师强大的专业背景和丰富的实战经验，结合大数据技术、数据、业务场景等来讲授大数据的应用模式，课程结合业务项目一起跟进如何落地实现。

3. 从形式上，除了常规理论讲授与实际操作以外，我们还引入结合客户实际需求进行小组研讨、专家评审和相关项目案例引入的方式，将人才培养进一步落到实处，最大能力帮助客户提升能力，助力战略转型。

（3）教学计划

本系列课程总共由9门课程组成：

         第1-4门课属于基础与概述，分别从技术基础，Java,Linux及基础理论算法进行针对性基础知识加固。

         第5-9门课程就Hadoop系统、Spark系统、流式计算三大核心技术详细讲解，期间穿插实际案例讲解如何基于这些技术搭建企业级应用及开发实践。

    整个课程体系及授课有全栈大数据专家讲师全程落地，确保每个模块的深入落地及模块之间的衔接连贯，行成体系的综合开发技能       

（4）具体课程方案（含课程大纲）

课程1：大数据技术基础与应用-1天

【匹配关键知识点】

大数据概述，大数据行业应用解析（PI）等内容。

【课程时间】

1天（6小时/天）

【课程简介】

本课程通过对大数据技术的时代背景和业务应用场景实践案例介绍大数据技术涉及的基础技术和典型应用场景，为学员学习大数据技术明确学习方向和目标。

【课程收益】

1、了解大数据技术的时代背景

2、了解大数据技术的商业价值

3、掌握大数据涉及的基本技术及应用

【课程特点】

通过“知识地图”和 “沙盘演练”帮助学员“边干边学”，提升其行动学习能力：

● 采用“知识地图”形成持续学习网络

“知识地图”分共三级：一级是领域知识一览图（思维导图）；二级是高度提炼的知识内容要点（PPT）；三级是中外优质资源的知识原文出处（网站链接） 。

通过 “知识地图”，帮助学员构建持续学习网络，使其对大数据架构“领域知识”一览无余，“前沿动态”实时掌握！

● 通过“沙盘演练”在实战中学习

课堂没有冗长乏味的理论讲授，而是通过“沙盘演练”，用实战串讲知识，用演练提升能力，助学员迅速从“初出茅庐”的新兵成长为“身经百战”的长胜将军，并具备在行动中学习的能力。

● 本课程对应上机环境提供学员大数据虚拟机环境可以本地操作，也可以在线登录老师自主开发的大数据实战平台在线操作。

【课程对象】

大数据技术相关人员

【学员基础】

无前置课程要求

【课程大纲】（1天*6小时）

课程2：Java语言入门-2天

【匹配关键知识点】

Java概述与环境搭建，Java数据类型与运算符及语法等内容。

【课程时间】

2天（6小时/天）

【课程简介】

本课程通过Java基本开发语言的介绍，帮助学员掌握Java的核心原理和开发方法，并利用Java进行应用开发。培训实践与理论并重，通过理论讲解，实例分析，以及对关键技术的实操练习，从而帮助学员深刻理解Java核心原理和提升学员在工作中的实践技能。。

【课程收益】

1、了解Java的核心编程

2、了解大数据技术的商业价值

3、掌握大数据涉及的基本技术及应用

【课程特点】

通过“知识地图”和 “沙盘演练”帮助学员“边干边学”，提升其行动学习能力：

● 采用“知识地图”形成持续学习网络

“知识地图”分共三级：一级是领域知识一览图（思维导图）；二级是高度提炼的知识内容要点（PPT）；三级是中外优质资源的知识原文出处（网站链接） 。

通过 “知识地图”，帮助学员构建持续学习网络，使其对大数据架构“领域知识”一览无余，“前沿动态”实时掌握！

● 通过“沙盘演练”在实战中学习

课堂没有冗长乏味的理论讲授，而是通过“沙盘演练”，用实战串讲知识，用演练提升能力，助学员迅速从“初出茅庐”的新兵成长为“身经百战”的长胜将军，并具备在行动中学习的能力。

● 本课程对应上机环境提供学员大数据虚拟机环境可以本地操作，也可以在线登录老师自主开发的大数据实战平台在线操作。

【课程对象】

大数据技术相关人员

【学员基础】

具备初步的IT基础知识

【课程大纲】（2天*6小时）

课程3：Linux基础-1天

【匹配关键知识点】

Linux概念及简单操作等内容。

【课程时间】

1天（6小时/天）

【课程简介】

本课程通过Linux系统体系及命令的介绍，帮助学员掌握Linux的核心原理和管理开发方法。培训实践与理论并重，通过理论讲解，实例分析，以及对关键技术的实操练习，从而帮助学员深刻理解Linux核心原理和提升学员在工作中的实践技能。。

【课程收益】

1、了解Linux核心原理

2、了解Linux的系统体系功能

3、掌握Linux的基本命令及应用

【课程特点】

通过“知识地图”和 “沙盘演练”帮助学员“边干边学”，提升其行动学习能力：

● 采用“知识地图”形成持续学习网络

“知识地图”分共三级：一级是领域知识一览图（思维导图）；二级是高度提炼的知识内容要点（PPT）；三级是中外优质资源的知识原文出处（网站链接） 。

通过 “知识地图”，帮助学员构建持续学习网络，使其对大数据架构“领域知识”一览无余，“前沿动态”实时掌握！

● 通过“沙盘演练”在实战中学习

课堂没有冗长乏味的理论讲授，而是通过“沙盘演练”，用实战串讲知识，用演练提升能力，助学员迅速从“初出茅庐”的新兵成长为“身经百战”的长胜将军，并具备在行动中学习的能力。

● 本课程对应上机环境提供学员大数据虚拟机环境可以本地操作，也可以在线登录老师自主开发的大数据实战平台在线操作。

【课程对象】

大数据技术相关人员

【学员基础】

具备初步的IT基础知识

【课程大纲】（1天*6小时）

课程4：大数据基础理论与算法入门-7天

【匹配关键知识点】

数理统计基础理论， SQL语法与应用实战 ，数据建模基础理论，数据预处理、探索性数据分析，数据采集、抽样和预测，SVM算法、决策树算法、聚类算法、贝叶斯算法、回归算法等内容。

【课程时间】

7天（6小时/天）

【课程简介】

本课程通过大数据基础理论与算法的介绍，帮助学员掌握大数据大数据基础理论与算法基础。培训实践与理论并重，通过理论讲解，实例分析，以及对关键技术的实操练习，从而帮助学员深刻理解大数据基础理论与算法应用和提升学员在工作中的实践技能。

【课程收益】

1、了解大数据基础理论及应用场景

2、了解大数据核心算法原理

3、掌握大数据平台基础理论与算法应用开发

【课程特点】

通过“知识地图”和 “沙盘演练”帮助学员“边干边学”，提升其行动学习能力：

● 采用“知识地图”形成持续学习网络

“知识地图”分共三级：一级是领域知识一览图（思维导图）；二级是高度提炼的知识内容要点（PPT）；三级是中外优质资源的知识原文出处（网站链接） 。

通过 “知识地图”，帮助学员构建持续学习网络，使其对大数据架构“领域知识”一览无余，“前沿动态”实时掌握！

● 通过“沙盘演练”在实战中学习

课堂没有冗长乏味的理论讲授，而是通过“沙盘演练”，用实战串讲知识，用演练提升能力，助学员迅速从“初出茅庐”的新兵成长为“身经百战”的长胜将军，并具备在行动中学习的能力。

● 本课程对应上机环境提供学员大数据虚拟机环境可以本地操作，也可以在线登录老师自主开发的大数据实战平台在线操作。

【课程对象】

大数据技术相关人员

【学员基础】

具备初步的IT基础知识

【课程大纲】（7天*6小时）

课程5：Hadoop生态系统-7天

【匹配关键知识点】

HDFS使用操作， MapReduce开发 ，yarn原理和应用，Hbase数据库开发，Hive数据仓库开发，Scala入门等内容。

【课程时间】

7天（6小时/天）

【课程简介】

本课程通过Hadoop系统体系及命令的介绍，帮助学员掌握Hadoop的核心架构原理和管理开发方法。培训实践与理论并重，通过理论讲解，实例分析，以及对关键技术的实操练习，从而帮助学员深刻理解Hadoop生态系统及开发应用和提升学员在工作中的实践技能。

【课程收益】

1、了解Hadoop生态系统及应用场景

2、了解Hadoop生态系统的核心功能和架构

3、掌握Hadoop生态系统组件的基本命令及应用

【课程特点】

通过“知识地图”和 “沙盘演练”帮助学员“边干边学”，提升其行动学习能力：

● 采用“知识地图”形成持续学习网络

“知识地图”分共三级：一级是领域知识一览图（思维导图）；二级是高度提炼的知识内容要点（PPT）；三级是中外优质资源的知识原文出处（网站链接） 。

通过 “知识地图”，帮助学员构建持续学习网络，使其对大数据架构“领域知识”一览无余，“前沿动态”实时掌握！

● 通过“沙盘演练”在实战中学习

课堂没有冗长乏味的理论讲授，而是通过“沙盘演练”，用实战串讲知识，用演练提升能力，助学员迅速从“初出茅庐”的新兵成长为“身经百战”的长胜将军，并具备在行动中学习的能力。

● 本课程对应上机环境提供学员大数据虚拟机环境可以本地操作，也可以在线登录老师自主开发的大数据实战平台在线操作。

【课程对象】

大数据技术相关人员

【学员基础】

学习完Java,Linux和大数据基础理论和应用前置课程

【课程大纲】（7天*6小时）

课程6：Spark生态系统-8天

【匹配关键知识点】

Spark生态系统概述及培训关键点概述 ，Spark SQL开发，Spark Streaming/Spark Mllib/ Spark Graphx开发等内容。

【课程时间】

8天（6小时/天）

【课程简介】

本课程通过Spark系统体系及命令的介绍，帮助学员掌握Spark的核心架构原理和管理开发方法。培训实践与理论并重，通过理论讲解，实例分析，以及对关键技术的实操练习，从而帮助学员深刻理解Spark生态系统及开发应用和提升学员在工作中的实践技能。

【课程收益】

1、了解Spark生态系统及应用场景

2、了解Spark生态系统的核心功能和架构

3、掌握Spark生态系统组件的基本命令及应用

【课程特点】

通过“知识地图”和 “沙盘演练”帮助学员“边干边学”，提升其行动学习能力：

● 采用“知识地图”形成持续学习网络

“知识地图”分共三级：一级是领域知识一览图（思维导图）；二级是高度提炼的知识内容要点（PPT）；三级是中外优质资源的知识原文出处（网站链接） 。

通过 “知识地图”，帮助学员构建持续学习网络，使其对大数据架构“领域知识”一览无余，“前沿动态”实时掌握！

● 通过“沙盘演练”在实战中学习

课堂没有冗长乏味的理论讲授，而是通过“沙盘演练”，用实战串讲知识，用演练提升能力，助学员迅速从“初出茅庐”的新兵成长为“身经百战”的长胜将军，并具备在行动中学习的能力。

● 本课程对应上机环境提供学员大数据虚拟机环境可以本地操作，也可以在线登录老师自主开发的大数据实战平台在线操作。

【课程对象】

大数据技术相关人员

【学员基础】

学习完Java,Linux和大数据基础理论和应用前置课程

【Spark生态系统系统课程大纲】（8天*6小时）

课程7：大数据流式处理技

 

刘晖老师的其它课程