能力名称：大数据清洗                        职业领域：数据分析处理工程技术人员

工作任务

操作规范

相关知识

考核比重

（一）

安装操作系统及搭建Python开发环境

1.安装Windows、Linux操作系统

2.掌握Linux系统基本命令

3.能在Windows、Linux上安装、配置防火墙

1.Windows、Linux操作系统基础知识及安装步骤操作

2.虚拟机原理

3.Linux基本命令使用

4.基本的防火墙知识和系统自带防火墙的基本配置

5％

（二）

掌握Python

基础编程

方法

1.能搭建Python开发环境

2.能用IDE编写Python代码

3.会使用Python语言工具处理文件

4.会使用Python完成函数编写，实现函数功能

5.能使用Python编写模块和类

6.会面向对象编程

1.Python编程基础

2．对象分类和对象之间转换知识

3.流程控制与数组

4.文件处理

5.面向对象及方法重载

6.并发编程

10％

（三）

掌握统计

理论知识

1.能掌握统计学基本知识

2.能理解向量空间、线性空间和欧式空间的概念

3.能掌握行列式与矩阵的计算

4.能掌握一般的描述性统计方法

5.能使用概率统计描述数据的规律

1.线性变换的基本知识

2.向量及向量空间的基本概念和计算

3.统计描述常用方法

4．概率预测及假设检验知识

10％

（四）

掌握Python

处理数据方法

1.会调用Python计算和处理数据的Numpy和Pandas库

2.能理解Numpy的数据存储类型

3.能使用Numpy进行数据的计算合并处理

4.能理解Pandas存储数据的结构

5.会用Pandas合并数据及处理数据的缺失值和异常值

1．Numpy数据结构和数组的运算知识

2.Series的数据结构

3.DataFrame表格的数据结构和计算处理知识

15％

（五）

配

Hadoop

平台

1.能安装和使用Hadoop

2.能单机运行Hadoop

3.能搭建Hadoop伪分布式、完全分布式集群

4.能用多节点安装Hadoop集群

5.能用Yarn的资源管理和资源调度机制

6.能对上述1-5中出现的错误指令进行处理及解决

1.Hadoop的基础架构与组成

2.Hadoop的运行方式

3.HDFS基础及核心原理

4.HDFS操作方法

5.HDFS体系结构和运行机制

6.Hadoop资源管理框架YARN工作原理

10％

（六）

安装和使用Hbase存储数据

1.能对分布式数据仓库Hbase进行安装部署

2.能启用分布式数据仓库Hbase

3.能使用Hbase Shell基本操作

4.使用HQL操作Hbase中数据

5.能对上述1-4中出现的错误指令进行处理及解决

1.Hbase核心原理

2.Hbase的工作原理及运用

3.Hbase配置文件与修改方法

4.Hbase数据存储技术和架构

10％

（七）安装和使用Mapreduce计算数据

1.能使用Mapreduce编写程序

2.能使用Mapper进行数据预处理

3.能使用Reducer完成数据统计计算

1. Mapreduce基本原理

2. Mapreduce处理数据的基本方法步骤

15％

（八）安装和使用Hive存储数据

1.能对分布式数据仓库Hive进行安装部署

2.能启用分布式数据仓库Hive

3.能利用Hive做日志分析的查询

4.能对上述1-3中出现的错误指令进行处理及解决

1.数据仓库的背景与原理

2.常用数据仓库工具及分布式数据仓库

3.Hive的原理及核心技术

4.Hive部署与访问方法

10％

（九）

使用

Spark

大数据

处理引擎

1.能对Spark进行安装配置

2.能正常启用Spark

3.能利用Spark分布式计算框架

4能使用Spark结合yarn调用HDFS和Hbase存储的数据

5.能对上述1-4中出现的错误指令进行处理及解决

1.分布式计算框架原理

2.Spark背景和原理

3.Spark的核心组成弹性分布式数据集RDD的基础知识

4.Spark运行架构

5.Spark运行基本流程

6.Spark三种部署方式

7.Spark与Hadoop统一部署

15％