能力名称：数据处理与分析              职业领域：大数据工程技术人员

工作任务

操作规范

相关

知识

考核

比重

(一)数据分类筛选

1.能根据数据的特征对数据进行分类

2.能根据需求选择符合条件的数据

1.数据结构化基础知识

2.图像、语音、文本等数据的分类、筛选方法。

10%

（二）数据采集

1.能采用相关方法获取数据，或通过SQL类语言获取数据库中的数据

2.能通过数据采集工具获取网络及终端设备数据

1.使用SQL查询语言，从数据库中提取和查询数据，进行数据的检索、筛选等操作。

2.数据采集工具的使用方法。

20%

（三）数据处理

1.能对数据进行审查和校验

2.能通过筛选、去重、清理、解析等对数据进行预处理

2.能掌握数据处理的流程与方法 ，从原始数据抽取出有价值的信息。

1.数据审查，如规范性审查、一致性审查、完整性审查等。校验常用方法，如格式校验、长度校验、完整性校验、一致性校验等。

2.数据处理基本操作。识别数据中的缺失值、异常值、重复值，并进行删除、填充或统计方法处理。

3.对所输入的各种形式的数据进行加工整理的基本操作。对数据进行收集、存储、归一化、离散化、格式转换、分类、归并、计算、排序、检索等处理过程的基本方法。

40%

（四）数据分析与可视化

1.能对数据进行基本分析

2.能对数据进行分析和可视化处理

1.使用统计量（如均值、中位数、众数、标准差等）来描述数据的特征和分布。

2.回归分析、聚类分析、时间序列分析等统计分析方法。

3.常见数据可视化工具的使用，如Excel、Matplotlib、Seaborn、Tableau等。

3.选择合适的图表类型（如线图、柱状图、散点图、饼图等）来展示数据。

4.使用颜色、形状、标签等元素来优化图表的视觉效果，使数据更加直观易懂。

30%