没有合适的资源？快使用搜索试试~ 我知道了~

首页GZ-2021041 大数据技术与应用赛项规程.pdf（2021年高职组国赛专用！）

GZ-2021041 大数据技术与应用赛项规程.pdf（2021年高职组国赛专用！）

需积分: 44 22 下载量 133 浏览量更新于2023-03-03 评论 3 收藏 586KB PDF 举报

身份认证购VIP最低享 7 折!

领优惠券(最高得80元）

试读

63页

适用2021年全国职业院校技能大赛参赛选手备赛参照使用。（2021年高职组国赛专用！）

资源详情

资源评论

资源推荐

第 1 页 /共 63 页

全国职业院校技能大赛

赛项规程

一、赛项名称

赛项编号：GZ-2021041

赛项名称：大数据技术与应用

英文名称：Big Data Technology And Application

赛项组别：高职

赛项归属：电子信息大类

二、竞赛目的

为推进实施国家大数据战略，进一步落实国务院《关于促进大数

据发展行动纲要》（国发[2015]50 号）以及 2021 年政府工作报告中

“加快数字化发展，打造数字经济新形态，协同推进数字产业化和产

业数字化转型，加快数字社会建设步伐，提高数字政府建设水平，营

造良好数字生态，建设数字中国。”等要求，不断推进大数据专业人

才培养，建立健全多层次、多类型的大数据人才培养体系。

本赛项旨在结合当前大数据行业中技术要求，通过大赛让参赛选

手熟悉一个大数据项目中各个环节的实现过程。通过竞赛来检验教学

水平，引领和促进职业教育教学改革，促进与世界最新水平接轨，营

造崇尚技能的社会氛围。

通过大赛培养参赛选手在企业真实项目环境下进行大数据平台

部署管理、数据采集与处理、数据清洗与挖掘分析、数据可视化及综

第 2 页 /共 63 页

合分析的能力；同时培养选手的理解力、沟通力、抗压力、6S 规范

等职业素质；激发学生自主学习能力和解决问题能力，以达到“以赛

促学、以赛促教、以赛促改”目的。

赛项围绕大数据产业各个岗位的实际需求和要求进行设计，通过

大赛搭建校企合作的平台，深化产教融合，推进产教融合人才培养模

式，提升大数据技术与应用专业及其他相关专业毕业生能力，同时大

赛将促进相关教材、资源、师资、认证、实习就业等全面建设，推动

院校和企业联合培养大数据人才，加强学校教育与产业发展的有效衔

接，促进职业院校信息类相关专业共同发展，为国家战略规划提供大

数据领域的高素质技能型人才。

三、竞赛内容

（一）选手需具备能力

本赛项基于企业真实项目和工作模块，结合企业岗位对学生职业

技能的最新需求，在规定的时间内完成指定大数据模块。其中，主要

考核参赛选手在大数据平台部署管理、数据采集与处理、数据清洗与

挖掘分析、数据可视化及综合分析等方面技能。此外，竞赛同时考核

参赛选手工作组织和团队协作能力、沟通和人际交往能力、解决问题

能力以及致力于紧跟行业发展步伐的自我学习能力。

本项目竞赛内容通过对技能实操表现来评估知识理解以及技能

的熟练程度，将不再另外举行知识及理解性质的理论测试。

（二）竞赛模块

1.竞赛时间

第 3 页 /共 63 页

竞赛总时长为 8 小时。各竞赛队在规定的时间内，独立完成“竞

赛内容”规定的竞赛模块。

2.竞赛内容

本竞赛结合国内行业、企业的实际业务模型；本竞赛只考核技能

部分，不涉及理论。本竞赛进行的技能实操考核，涉及大数据平台及

组件的部署管理、数据采集与处理、数据清洗与挖掘分析、数据可视

化、综合分析。

序号

比赛模块

分数占比

考核内容

Hadoop 平台及组

件的部署管理

15%

选手对 Hadoop 平台及组件的部署、管理、

应用

数据采集与处理

20%

选手多维度数据采集能力，包括对关系

型数据库、非关系型数据库和网络爬虫

技术的应用

数据清洗与挖掘

分析

25%

选手对 Hadoop 系统、Spark 系统、数据

仓库等综合应用能力，使用 Java 、

Python、Scala 等开发语言，完成数据清

洗、数据存储、数据转化、数据分析、

数据挖掘等操作

数据可视化

20%

选手通过常见的数据可视化方法，使用

Python 语言将数据分析结果以图表的形

式进行呈现、统计

综合分析

15%

选手对大数据技术与分析的综合操作和

业务分析及报告撰写能力

职业素养

团队分工明确合理、操作规范、文明竞

赛

备注 1：关于最终赛题将由专家组讨论决定。其中，各模块的详细内容描述如下：

（1）Hadoop 平台及组件的部署管理

第 4 页 /共 63 页

依据大数据 Hadoop 平台的技术特点能够独立下载、解压、安装

Hadoop 不同版本的介质。能够对不同版本的 Hadoop 介质进行文件参

数配置，日志查看、状态查看、服务启动、组件部署、组件管理等。

参赛选手需要掌握以下并不仅限于以下技能：

 根据需求解压一个 Hadoop 版本

 根据需求设置一个 Hadoop 环境变量

 根据需求配置相关 Hadoop 环境文件

 根据需求配置相关 Hadoop 环境状态

 根据需求管理相关 Hadoop 环境启停

 根据需求部署 Hive 组件

 根据需求管理 Hive 组件

 根据需求应用 Hive 组件

 根据需求部署 HBase 组件

 根据需求管理 HBase 组件

 根据需求应用 HBase 组件

 根据需求部署 Sqoop 组件

 根据需求管理 Sqoop 组件

 根据需求应用 Sqoop 组件

 根据需求部署 Kafka 组件

 根据需求管理 Kafka 组件

 根据需求应用 Kafka 组件

 根据需求部署 Flume 组件

第 5 页 /共 63 页

 根据需求管理 Flume 组件

 根据需求应用 Flume 组件

 根据需求部署 Spark 组件

 根据需求管理 Spark 组件

 根据需求应用 Spark 组件

 根据需求部署 Zookeeper 组件

 根据需求管理 Zookeeper 组件

 根据需求应用 Zookeeper 组件

（2）数据采集与处理模块

利用 Chrome 浏览器查看网页源码、分析网站网页结构。按照要

求使用 Python 语言编写爬虫代码、爬取指定数据项；综合利用 ETL

工具对企业数据进行采集，并对采集结果数据集进行数据探索、以及

必要的处理操作。

参赛选手需要掌握以下并不仅限于以下技能:

 能够按要求对网页源码进行分析

 能够按要求分析出网页结构

 能够创建爬虫项目框架

 能够按要求构建爬虫请求

 能够按要求定义相关字段

 能够按要求获取有效数据

 能够将爬取到的数据保存到本地

 能够将爬取到的数据保存到指定 Mysql

剩余62页未读，继续阅读

antsRegistrationSyN.sh -m brain_subjects.nii.gz -f brain.nii.gz -n 90 -t sr #antsApplyTransforms -i BN.nii.gz -r brain_subjects.nii.gz -t output0GenericAffine.mat output1Warp.nii.gz -o BN_subjects.nii.gz -n NearestNeighbor

这是一组 ANTs 工具箱中的命令，用于将一个被称为“subject”的大脑图像与一个被称为“template”的标准大脑图像对齐。具体来说，`antsRegistrationSyN.sh` 命令用于计算变换矩阵，而 `antsApplyTransforms` 命令则...

附件:gz-2020007 网络系统管理赛项赛题.zip

gz-2020007 网络系统管理赛项赛题.zip 是一个包含网络系统管理赛项赛题的压缩文件。这个比赛项目旨在为参赛者提供了一次实战体验，测试他们在网络系统管理和技术管理方面的技能和知识。赛题包含多个挑战，包括但不...

gz-2021集成电路开发及应用赛项赛题库

gz-2021集成电路开发及应用赛项赛题库是为了促进集成电路开发和应用领域的技术创新而设立的。该赛项赛题库旨在为参赛选手提供一系列有挑战性和实践性的竞赛题目。赛题库中的题目涵盖了多个方面，包括集成电路设计...

gz-2022038 信息安全管理与评估赛项赛题.zip

gz-2022038 信息安全管理与评估赛项赛题.zip 是一个比赛项目的赛题压缩包。在信息安全管理与评估领域中，这个赛题涉及到针对某个系统或网络的安全管理和评估的挑战。赛题可能包括各种各样的安全考量，如系统漏洞、...

gatk GenotypeGVCFs -R ref.fa -V chrx.merged.g.vcf.gz -O chrx.genotype.vcf.gz各个参数的意义，并举例

1. `-R ref.fa`：指定参考基因组文件，`ref.fa`是参考基因组文件的路径和文件名。 2. `-V chrx.merged.g.vcf.gz`：指定输入的GVCF文件，`chrx.merged.g.vcf.gz`是输入文件的路径和文件名。 3. `-O chrx.genotype.vcf...

wget -03/r/eclipse-java-2020-03-r-linux-gtk-x86_64.tar.gz.

`wget -O /eclipse-java-2020-03-r-linux-gtk-x86_64.tar.gz` 是一个命令行的wget命令，用于下载一个名为eclipse-java-2020-03-r-linux-gtk-x86_64.tar.gz的文件。 - `wget` 是一个在命令行环境下使用的下载工具，...

antsApplyTransforms -i BN.nii.gz -r brain_subjects.nii.gz -t output0GenericAffine.mat output1Warp.nii.gz -o BN_subjects.nii.gz -n NearestNeighbor

这是一个使用 ANTS 工具...这个命令的作用是将 BN.nii.gz 图像配准到 brain_subjects.nii.gz 参考图像上，并输出配准后的图像 BN_subjects.nii.gz。其中，转换矩阵和变形场文件的生成需要使用 ANTS 工具的其他命令。

fastp -i R1.fastq.gz -I R2.fastq.gz -o R1_clean.fastq.gz -O R2_clean.fastq.gz -h report.html 里的R1 R2替换为什么文件名？我只有一个fastqc文件呀

在fastp命令中，R1和R2表示测序数据的两个端，通常是成对的fastq文件（例如R1.fastq.gz和R2.fastq.gz）。如果你只有一个fastq文件，那么你可以将R1和R2替换为你的文件名，如下所示： ``` fastp -i yourfile.fastq....

vmware-vix-disklib-6.5.0-4888596.x86_64.tar.gz

vmware-vix-disklib-6.5.0-4888596.x86_64.tar.gz是VMware公司提供的一个软件包，用于管理和操作虚拟磁盘文件。首先，它是一个tar.gz压缩文件。tar是一个常用的Unix/Linux命令，用于将多个文件打包成一个文件，它...

上述仍然报错shapeit --input-vcf hwe.snp.vcf.gz --input-ref /data2/qixb/zhangzh/database/Ref_NGS_need_file/Homo_sapiens_assembly38.fasta --output hwe_pashing.phased --output-map /data2/qixb/zhangzh/database/Ref_NGS_need_file/hapmap_3.3.hg38.vcf.gz --output-log hwe_pashing.log --thread 8 Phaser mode : option '--output' is ambiguous and matches '--output-from', '--output-graph', '--output-log', '--output-max', and '--output-to'

shapeit --input-vcf hwe.snp.vcf.gz --input-ref /data2/qixb/zhangzh/database/Ref_NGS_need_file/Homo_sapiens_assembly38.fasta --output hwe_pashing.phased --output-map hwe_pashing.map --output-log hwe_...

file /usr/share/man/man1/scp.1.gz from install of openssh-9.3p1-1.ctl2.ctl2.x86_64 conflicts with file from package openssh-help-8.2p1-16.ctl2.noarch

这个错误提示是由于安装 openssh-9.3p1-1.ctl2.ctl2.x86_64 时，发现文件 /usr/share/man/man1/scp.1.gz 已经存在于 openssh-help-8.2p1-16.ctl2.noarch 中。要解决这个问题，可以使用以下命令： ``` sudo rpm -e...

2021百度年全国职业院校技能大赛高职组+“gz-2021029电子产品设计及制作”赛项赛

2021百度年全国职业院校技能大赛高职组“gz-2021029电子产品设计及制作”赛项赛是一项专注于电子产品设计和制作的比赛。这个赛项旨在提高参赛选手对电子产品设计理论和实践的理解以及技能的应用能力。在比赛中，...

apache-atlas-2.1.0-hive-hook.tar.gz

在实际的应用中，apache-atlas-2.1.0-hive-hook.tar.gz可以被部署到Hive的服务器上，并与Hive的插件机制进行集成。通过配置Hive的元数据存储URL、用户名和密码等信息，Atlas可以自动从Hive中提取元数据，并将其索引...

ntp-dev-4.3.99.tar.gz和ntp-4.2.8p15.tar.gz

ntp-4.2.8p15.tar.gz是稳定版本，而ntp-dev-4.3.99.tar.gz是正在开发的版本。ntp-dev-4.3.99.tar.gz包含一些新的功能和改进，但可能不稳定或存在不兼容的变化。如果你只是需要使用NTP协议来同步时间，建议使用ntp-...

应用这条命令 bedtools genomecov -bg -i sh1-dap-overlap.bed -g rawdata/Zv-TIL11-REFERENCE-PanAnd-1.0.fa.gz > sh1-dap-overlap.bedGraph

- `-g rawdata/Zv-TIL11-REFERENCE-PanAnd-1.0.fa.gz` 表示基因组参考文件是 rawdata/Zv-TIL11-REFERENCE-PanAnd-1.0.fa.gz； - `> sh1-dap-overlap.bedGraph` 表示将输出结果保存到 sh1-dap-overlap.bedGraph 文件...

灯塔微光

粉丝: 906
资源: 149

上传资源快速赚钱

我的内容管理收起

我的资源快来上传第一个资源

我的收益

登录查看自己的收益

我的积分登录查看自己的积分

我的C币登录后查看C币余额

我的收藏

我的下载

下载帮助

会员权益专享

GZ-2021041 大数据技术与应用赛项规程.pdf（2021年高职组国赛专用！）

评论0

会员权益专享

最新资源

GZ-2021041 大数据技术与应用赛项规程.pdf（2021年高职组国赛专用！）

评论0

我的数据竞赛经验：本人多次机器学习与大数据竞赛Top5的经验总结，满满的干货，拿好不谢

GZ-2022041 大数据技术与应用赛项赛题.zip

GZ-2019020 集成电路开发及应用赛题库(更新).pdf

gz-2019032大数据技术与应用(高职组)赛题库

gz-2022041 大数据技术与应用

antsRegistrationSyN.sh -m brain_subjects.nii.gz -f brain.nii.gz -n 90 -t sr #antsApplyTransforms -i BN.nii.gz -r brain_subjects.nii.gz -t output0GenericAffine.mat output1Warp.nii.gz -o BN_subjects.nii.gz -n NearestNeighbor

附件:gz-2020007 网络系统管理赛项赛题.zip

gz-2021集成电路开发及应用赛项赛题库

gz-2022038 信息安全管理与评估赛项赛题.zip

gatk GenotypeGVCFs -R ref.fa -V chrx.merged.g.vcf.gz -O chrx.genotype.vcf.gz各个参数的意义，并举例

wget -03/r/eclipse-java-2020-03-r-linux-gtk-x86_64.tar.gz.

antsApplyTransforms -i BN.nii.gz -r brain_subjects.nii.gz -t output0GenericAffine.mat output1Warp.nii.gz -o BN_subjects.nii.gz -n NearestNeighbor

fastp -i R1.fastq.gz -I R2.fastq.gz -o R1_clean.fastq.gz -O R2_clean.fastq.gz -h report.html 里的R1 R2替换为什么文件名？我只有一个fastqc文件呀

vmware-vix-disklib-6.5.0-4888596.x86_64.tar.gz

file /usr/share/man/man1/scp.1.gz from install of openssh-9.3p1-1.ctl2.ctl2.x86_64 conflicts with file from package openssh-help-8.2p1-16.ctl2.noarch

2021百度年全国职业院校技能大赛高职组+“gz-2021029电子产品设计及制作”赛项赛

apache-atlas-2.1.0-hive-hook.tar.gz

ntp-dev-4.3.99.tar.gz和ntp-4.2.8p15.tar.gz

应用这条命令 bedtools genomecov -bg -i sh1-dap-overlap.bed -g rawdata/Zv-TIL11-REFERENCE-PanAnd-1.0.fa.gz > sh1-dap-overlap.bedGraph

会员权益专享

最新资源