能力名称：大数据应用开发                    职业领域：数据分析处理工程技术人员

工作任务

操作规范

相关知识

考核比重

（一）

安装操作系统及搭建Python开发环境

1.安装Windows、Linux操作系统

2.掌握Linux系统基本命令

3.搭建Python开发环境

4.使用IDE编写Python代码

5.掌握使用Python语言工具

6.掌握面向对象编程

1.Windows、Linux操作系统基础知识及安装步骤操作

2.虚拟机原理

3.Linux基本命令使用

4.Python编程基础

5.流程控制与数组

6.文件处理

7.面向对象及方法重载

8.并发编程

10％

（二）

检索数据

1．能安装和搭建Mysql数据库环境

2.能熟练使用SQL语句，SQL语句优化，表设计原则，视图、序列、索引，数据库设计原则

3.能开发数据库生产环境所需要的存储过程、函数、脚本

1．数据库基础知识

2．SQL理论基础和数据类型

3．DDL、LML、DQL语句

4．函数和关联查询

5．子查询、约束、视图

6．编程存储过程，触发器

7．Sql查询案例和优化

10％

（三）

搭建

Hadoop

分布式

集群

1.能安装和使用Hadoop

2.能单机运行Hadoop

3.能搭建Hadoop伪分布式、分布式

4.能用多节点安装Hadoop集群

5.能用MapReduce的计算框架

6.能用Yarn的资源管理和资源调度机制

7.能对上述1-6中出现的错误指令进行处理及解决

1.Hadoop的基础架构与组成

2.Hadoop常用参数调优与性能优化技术

3.Hadoop的运行方式

4.Hadoop核心组件YARN的工作原理

5.Hadoop YARN的资源管理与作业调度机制

6.MapReduce基本原理

20％

（四）

使用分布式数据收集系统Sqoop与Flume

1.能用Flume从指定目录中收集数据到HDFS

2.能用Sqoop将MySQL表中数据写HDFS

3.能够使用sqoop和flume构建企业级大数据收集系统。

1.Sqoop组件特性及核心功能

2. Hadoop生态中的数据转化方法

3.非结构化（日志）数据收集系统Flume的背景、架构、原理及使用

10％

（五）掌握Kafka和HDFS应用方法

1.能搭建Kafka集群

2.会编写Producer将数据写入Kafka、

3.能编写Consumer从Kafka中读取数据

4.能搭建HDFS集群

5.会使用NameNode Web UI

6.会使用HDFS Shell

1.Hbase核心原理

2.Hbase的工作原理及运用

3.kafka的基本架构和工作原理

4.HDFS基本Shell操作

10％

（六）掌握Hbase存储数据方法

1.能搭建Hbase集群

2.会使用Hbase Web UI

3.能使用HBase Shell

4.能对上述1-3中出现的错误指令进行处理及解决

1.Hbase核心原理

2.Hbase的工作原理及运用

3.Hbase配置文件与修改方法

4.Hbase基本操作方法

10％

（七）掌握Hive存储数据方法

1.能对分布式数据仓库Hive进行安装部署

2.能利用Hive创建表，并进行查询

3.能利用Hive创建ORC与Parquet表并查询

4.能用程序方式访问Hive

5.能进行Hive调优

1.数据仓库的背景与原理

2.常用数据仓库工具及分布式数据仓库

3.Hive的内部原理及核心特性

4.Hive部署与访问方法

5.Hive优化方式

10％

（八）掌握Spark生态体系

1.能够搭建Spark开发和运行环境

2.能使用Spark开发大数据分析程序

3.能利用Spark Streaming读取HDFS中的数据

4.能够使用Spark Streaming编写流式实时计算程序

5.利用Spark流式编程做日志的分析

6.能运用Python语言在Spark平台开发程序

7.能够使用Spark MLLib工具包解决机器学习问题

8.能够使用图形处理架构GraphX

1.分布式计算框架原理

2.Spark背景和原理

3.Spark基本定位与核心特性

4.Spark运行架构

5.Spark运行基本流程

6.Spark三种部署方式

7.Spark与Hadoop统一部署

8.流式计算核心概念和框架

9.RDD编程知识

10.MLlib机器学习

11.图计算基本概念

12.GraphX图的基本操作

20％