省赛样题2解析

2024-2025学年广东省职业院校技能大赛

中职组大数据应用与服务赛项

样

题

2

一、背景描述

大数据时代背景下，教育行业正在经历深刻的变革。在传统教育模式中，教学过程往往依赖教师的经验判断，缺乏对学习者行为的深入理解和精准分析。而在线教育平台的兴起，为教育领域带来了全新的可能。通过收集和分析学习者在平台上的行为数据，如课程选择、学习进度、作业完成情况、互动参与度等，可以更准确地把握学习者的需求和学习特点。平台能够根据用户的学习轨迹、知识掌握程度、学习时长等数据，建立个性化的学习档案，为每位学习者提供更有针对性的课程推荐和学习建议。

因数据驱动的大数据时代已经到来，在线教育平台需要通过数据分析来提供更优质的教育服务。为完成在线教育平台的大数据分析工作，你所在的小组将应用大数据技术，通过Python语言以数据采集为基础，将采集的数据进行相应处理，并且进行数据标注、数据分析与可视化、通过大数据业务分析方法实现相应数据分析。运行维护数据库系统保障存储数据的安全性。通过运用相关大数据工具软件解决具体业务问题。你们作为该小组的技术人员，请按照下面任务完成本次工作。

二、模块一：平台搭建与运维

__（一）任务一：大数据平台搭建 __

1．子任务一：基础环境准备

本任务需要使用 root 用户完成相关配置，安装 Hadoop 需要配置前置环境。命令中要求使用绝对路径，具体要求如下：

（1）配置三个节点的主机名，分别为 master、slave1、slave2，然后修改三个节点的 hosts 文件，使得三个节点之间可以通过主机名访问，在 master上将执行命令 cat /etc/hosts 的结果复制并粘贴至【提交结果.docx】中对应的任务序号下；

1
2
3
4
5
6
[root@master ~]# cat /etc/hosts
127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4
::1         localhost localhost.localdomain localhost6 localhost6.localdomain6
192.168.1.91 master
192.168.1.92 slave1
192.168.1.93 slave2

（2）将 /opt/software 目录下将文件 jdk-8u191-linux-x64.tar.gz 安装包解压到 /opt/module 路径中，将 JDK 解压命令复制并粘贴至【提交结果.docx】中对应的任务序号下；

1
[root@master software]# tar -zxvf jdk-8u391-linux-x64.tar.gz -C /opt/module/

（3）在 /etc/profile 文件中配置 JDK 环境变量 JAVA_HOME 和 PATH 的值，并让配置文件立即生效，将在 master上 /etc/profile 中新增的内容复制并粘贴至【提交结果.docx】中对应的任务序号下；

1
2
export JAVA_HOME=/opt/module/jdk1.8.0_391
export PATH=$PATH:$JAVA_HOME/bin

（4）查看 JDK 版本，检测 JDK 是否安装成功，在 master 上将执行命令java -version 的结果复制并粘贴至【提交结果.docx】中对应的任务序号下；

1
2
3
4
[root@master module]# java -version
java version "1.8.0_391"
Java(TM) SE Runtime Environment (build 1.8.0_391-b13)
Java HotSpot(TM) 64-Bit Server VM (build 25.391-b13, mixed mode)

（5）创建 hadoop 用户并设置密码，为 hadoop 用户添加管理员权限。在 master 上将执行命令 grep ‘hadoop’ /etc/sudoers 的结果复制并粘贴至【提交结果.docx】中对应的任务序号下；

1
2
[root@master module]# grep 'hadoop' /etc/sudoers
hadoop	ALL=(ALL)	NOPASSWD:ALL

（6）关闭防火墙，设置开机不自动启动防火墙，在 master 上将执行命令 systemctl status firewalld 的结果复制并粘贴至【提交结果.docx】中对应的任务序号下；

1
2
3
4
5
6
7
8
9
10
11
12
[root@master module]# systemctl status firewalld
● firewalld.service - firewalld - dynamic firewall daemon
   Loaded: loaded (/usr/lib/systemd/system/firewalld.service; disabled; vendor preset: enabled)
   Active: inactive (dead)
     Docs: man:firewalld(1)

Feb 17 02:23:47 localhost.localdomain systemd[1]: Starting firewalld - dynamic f....
Feb 17 02:23:47 localhost.localdomain systemd[1]: Started firewalld - dynamic fi....
Feb 17 02:23:47 localhost.localdomain firewalld[747]: WARNING: AllowZoneDrifting ...
Feb 17 22:09:22 master systemd[1]: Stopping firewalld - dynamic firewall daemon...
Feb 17 22:09:23 master systemd[1]: Stopped firewalld - dynamic firewall daemon.
Hint: Some lines were ellipsized, use -l to show in full.

（7）配置三个节点的 SSH 免密登录，在 master 上通过 SSH 连接 slave1 和 slave2 来验证。

1
2
3
4
5
6
7
8
9
10
11
[root@master module]# ssh slave1
Last login: Mon Feb 17 22:11:09 2025 from master
[root@slave1 ~]# hostname
slave1
[root@slave1 ~]# exit
logout
Connection to slave1 closed.
[root@master module]# ssh slave2
Last login: Mon Feb 17 22:03:12 2025 from 192.168.1.166
[root@slave2 ~]# hostname
slave2

2．子任务二：Hadoop 完全分布式安装配置

本任务需要使用 root 用户和 hadoop 用户完成相关配置，使用三个节点完成 Hadoop 完全分布式安装配置。命令中要求使用绝对路径，具体要求如下：

（1）在 master 节点中的 /opt/software 目录下将文件 hadoop-3.3.6.tar.gz 安装包解压到 /opt/module 路径中，将 hadoop 安装包解压命令复制并粘贴至【提交结果.docx】中对应的任务序号下；

1
[hadoop@master software]$ sudo tar -zxvf hadoop-3.3.6.tar.gz -C /opt/module/

（2）在 master 节点中将解压的 Hadoop 安装目录重命名为 hadoop，并修改该目录下的所有文件的所属者为 hadoop，所属组为 hadoop，将修改所属者的完整命令复制并粘贴至【提交结果.docx】中对应的任务序号下；

1
[hadoop@master module]$ sudo chown -R hadoop:hadoop hadoop/

（3）在 master 节点中使用 hadoop 用户依次配置 hadoop-env.sh、core-site.xml、hdfs-site.xml、mapred-site.xml、yarn-site.xml、masters 和 workers 配置文件，Hadoop集群部署规划如下表，将 yarn-site.xml 文件内容复制并粘贴至【提交结果.docx】中对应的任务序号下；

服务器 master slave1 slave2
HDFS NameNode
HDFS SecondaryNameNode
HDFS DataNode DataNode DataNode
YARN ResourceManager
YARN NodeManager NodeManager NodeManager
历史日志服务器 JobHistoryServer 
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
<configuration>

<!-- Site specific YARN configuration properties -->
  <property>
    <name>yarn.resourcemanager.hostname</name>
    <value>master</value>
  </property>
  <property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
  </property>
  <property>
    <name>yarn.application.classpath</name>
    <value>/opt/module/hadoop/etc/hadoop:/opt/module/hadoop/share/hadoop/common/lib/*:/opt/module/hadoop/share/hadoop/common/*:/opt/module/hadoop/share/hadoop/hdfs:/opt/module/hadoop/share/hadoop/hdfs/lib/*:/opt/module/hadoop/share/hadoop/hdfs/*:/opt/module/hadoop/share/hadoop/mapreduce/*:/opt/module/hadoop/share/hadoop/yarn:/opt/module/hadoop/share/hadoop/yarn/lib/*:/opt/module/hadoop/share/hadoop/yarn/*</value>
  </property>
  <property>
    <name>yarn.web-proxy.address</name>
    <value>master:8089</value>
  </property>
  <property>
    <name>yarn.log-aggregation.enable</name>
    <value>true</value>
  </property>
</configuration>

（4）在 master 节点中使用 scp 命令将配置完的 hadoop 安装目录直接拷贝至 slave1 和 slave2 节点，将完整的 scp 命令复制并粘贴至【提交结果.docx】中对应的任务序号下；

1
2
[hadoop@master module]$ sudo scp -r jdk1.8.0_391/ hadoop/ slave1:`pwd`
[hadoop@master module]$ sudo scp -r jdk1.8.0_391/ hadoop/ slave2:`pwd`

（5）在 slave1 和 slave2 节点中将 hadoop 安装目录的所有文件的所属者为 hadoop，所属组为 hadoop。

1
2
[hadoop@master module]$ sudo chown -R hadoop:hadoop /opt/module/hadoop/
[hadoop@slave1 module]$ sudo chown -R hadoop:hadoop /opt/module/hadoop/

（6）在三个节点的 /etc/profile 文件中配置 Hadoop 环境变量 HADOOP_HOME 和 PATH 的值，并让配置文件立即生效，将 master 节点中 /etc/profile 文件新增的内容复制并粘贴至【提交结果.docx】中对应的任务序号下；

1
2
export HADOOP_HOME=/opt/module/hadoop
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

（7）在 master 节点中初始化 Hadoop 环境 namenode，将初始化命令及初始化结果（截取初始化结果日志最后 20 行即可）粘贴至【提交结果.docx】中对应的任务序号下；

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
[hadoop@master hadoop]$ hadoop namenode -format

2025-02-17 22:31:36,568 INFO util.GSet: VM type       = 64-bit
2025-02-17 22:31:36,568 INFO util.GSet: 0.029999999329447746% max memory 1.7 GB = 533.1 KB
2025-02-17 22:31:36,568 INFO util.GSet: capacity      = 2^16 = 65536 entries
2025-02-17 22:31:36,585 INFO namenode.FSImage: Allocated new BlockPoolId: BP-1945592902-192.168.1.91-1739849496581
2025-02-17 22:31:36,592 INFO common.Storage: Storage directory /data/nn has been successfully formatted.
2025-02-17 22:31:36,608 INFO namenode.FSImageFormatProtobuf: Saving image file /data/nn/current/fsimage.ckpt_0000000000000000000 using no compression
2025-02-17 22:31:36,668 INFO namenode.FSImageFormatProtobuf: Image file /data/nn/current/fsimage.ckpt_0000000000000000000 of size 401 bytes saved in 0 seconds .
2025-02-17 22:31:36,672 INFO namenode.NNStorageRetentionManager: Going to retain 1 images with txid >= 0
2025-02-17 22:31:36,687 INFO namenode.FSNamesystem: Stopping services started for active state
2025-02-17 22:31:36,687 INFO namenode.FSNamesystem: Stopping services started for standby state
2025-02-17 22:31:36,690 INFO namenode.FSImage: FSImageSaver clean checkpoint: txid=0 when meet shutdown.
2025-02-17 22:31:36,690 INFO namenode.NameNode: SHUTDOWN_MSG: 
/************************************************************
SHUTDOWN_MSG: Shutting down NameNode at master/192.168.1.91
************************************************************/

（8）在 master 节点中依次启动HDFS、YARN集群和历史服务。在 master 上将执行命令 jps 的结果复制并粘贴至【提交结果.docx】中对应的任务序号下；

1
2
3
4
5
6
7
8
9
[hadoop@master hadoop]$ jps
11424 Jps
10273 DataNode
11025 NodeManager
11362 JobHistoryServer
10468 SecondaryNameNode
10024 NameNode
11276 WebAppProxyServer
10703 ResourceManager

（9）在 slave1 查看 Java 进程情况。在 slave1上将执行命令 jps 的结果复制并粘贴至【提交结果.docx】中对应的任务序号下。

1
2
3
4
[hadoop@slave1 hadoop]$ jps
4064 Jps
3838 DataNode
3951 NodeManager

（二）任务二：数据库服务器的安装与运维

1. 子任务一：MySQL 安装配置

本任务需要使用 rpm 工具安装 MySQL 并初始化，具体要求如下：

（1）在 master 节点中的 /opt/software 目录下将 MySQL 5.7.44 安装包解压到 /opt/module 目录下；

1
[root@master software]# tar -xvf mysql-5.7.44-1.el7.x86_64.rpm-bundle.tar -C /opt/module/

（2）在 master 节点中使用 rpm -ivh 安装 mysql-community-common、mysql-community-libs、mysql-community-libs-compat、mysql-community-client 和 mysql-community-server 包，将所有命令复制粘贴至【提交结果.docx】中对应的任务序号下；

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
[root@master module]# rpm -ivh mysql-community-common-5.7.44-1.el7.x86_64.rpm 
warning: mysql-community-common-5.7.44-1.el7.x86_64.rpm: Header V4 RSA/SHA256 Signature, key ID 3a79bd29: NOKEY
Preparing...                          ################################# [100%]
Updating / installing...
   1:mysql-community-common-5.7.44-1.e################################# [100%]
[root@master module]# rpm -ivh mysql-community-libs-5.7.44-1.el7.x86_64.rpm 
warning: mysql-community-libs-5.7.44-1.el7.x86_64.rpm: Header V4 RSA/SHA256 Signature, key ID 3a79bd29: NOKEY
Preparing...                          ################################# [100%]
Updating / installing...
   1:mysql-community-libs-5.7.44-1.el7################################# [100%]
[root@master module]# rpm -ivh mysql-community-libs-compat-5.7.44-1.el7.x86_64.rpm 
warning: mysql-community-libs-compat-5.7.44-1.el7.x86_64.rpm: Header V4 RSA/SHA256 Signature, key ID 3a79bd29: NOKEY
Preparing...                          ################################# [100%]
Updating / installing...
   1:mysql-community-libs-compat-5.7.4################################# [100%]
[root@master module]# rpm -ivh mysql-community-client-5.7.44-1.el7.x86_64.rpm 
warning: mysql-community-client-5.7.44-1.el7.x86_64.rpm: Header V4 RSA/SHA256 Signature, key ID 3a79bd29: NOKEY
Preparing...                          ################################# [100%]
Updating / installing...
   1:mysql-community-client-5.7.44-1.e################################# [100%]
[root@master module]# rpm -ivh mysql-community-server-5.7.44-1.el7.x86_64.rpm 
warning: mysql-community-server-5.7.44-1.el7.x86_64.rpm: Header V4 RSA/SHA256 Signature, key ID 3a79bd29: NOKEY
Preparing...                          ################################# [100%]
Updating / installing...
   1:mysql-community-server-5.7.44-1.e################################# [100%]

（3）在 master 节点中启动数据库系统并初始化 MySQL 数据库系统，将完整命令复制粘贴至【提交结果.docx】中对应的任务序号下。

1
2
[root@master module]# mysqld --initialize-insecure --user=mysql --datadir=/var/lib/mysql
[root@master module]# systemctl start mysqld

2. 子任务二：MySQL 运维

本任务需要在成功安装 MySQL 的前提下，对 MySQL 进行运维操作，具体要求如下：

（1）配置服务端 MySQL 数据库的远程连接，将新增的配置内容复制粘贴至【提交结果.docx】中对应的任务序号下；

1
bind-address=0.0.0.0

（2）配置 root 用户允许任意 IP 连接，将完整命令复制粘贴至【提交结果.docx】中对应的任务序号下；

1
2
3
mysql> update mysql.user set host='%' where user='root';
Query OK, 1 row affected (0.00 sec)
Rows matched: 1  Changed: 1  Warnings: 0

（3）通过 root 用户登录 MySQL 数据库系统，查看 mysql 库下的所有表，将完整命令及执行命令后的结果复制粘贴至【提交结果.docx】中对应的任务序号下；

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
mysql> show tables from mysql;
+---------------------------+
| Tables_in_mysql           |
+---------------------------+
| columns_priv              |
| db                        |
| engine_cost               |
| event                     |
| func                      |
| general_log               |
| gtid_executed             |
| help_category             |
| help_keyword              |
| help_relation             |
| help_topic                |
| innodb_index_stats        |
| innodb_table_stats        |
| ndb_binlog_index          |
| plugin                    |
| proc                      |
| procs_priv                |
| proxies_priv              |
| server_cost               |
| servers                   |
| slave_master_info         |
| slave_relay_log_info      |
| slave_worker_info         |
| slow_log                  |
| tables_priv               |
| time_zone                 |
| time_zone_leap_second     |
| time_zone_name            |
| time_zone_transition      |
| time_zone_transition_type |
| user                      |
+---------------------------+
31 rows in set (0.00 sec)

（4）创建新用户 eduadmin 并设置密码，将完整命令及执行命令后的结果复制粘贴至【提交结果.docx】中对应的任务序号下；

1
2
mysql> create user 'eduadmin'@'%' identified by '123456';
Query OK, 0 rows affected (0.01 sec)

（5）创建数据库 education 并设置正确的字符集，将完整命令及执行命令后的结果复制粘贴至【提交结果.docx】中对应的任务序号下；

1
2
mysql> create database education character set utf8mb4;
Query OK, 1 row affected (0.00 sec)

（6）授予 eduadmin 用户对学习数据库的查询权限，将完整命令及执行命令后的结果复制粘贴至【提交结果.docx】中对应的任务序号下；

1
2
mysql> grant select on education.* to 'eduadmin'@'%';
Query OK, 0 rows affected (0.00 sec)

（7）刷新权限，将完整命令及执行命令后的结果复制粘贴至【提交结果.docx】中对应的任务序号下。

1
2
mysql> flush privileges;
Query OK, 0 rows affected (0.00 sec)

3. 子任务三：数据表的创建及维护

（1）根据以下数据字段在 education 数据库中创建课程表（course）。课程表字段如下：

字段 类型 中文含义 备注
id int 课程编号 主键
course_name varchar 课程名称
category varchar 课程类别
level varchar 难度等级
duration int 课程时长(分钟)
price decimal 课程价格
instructor varchar 讲师姓名
avg_rating float 平均评分
enrollment_count int 报名人数 
1
2
mysql> create table course( id int primary key, course_name varchar(255), category vaarchar(255), level varchar(255), duration int, price decimal, instructor varchar(255), avg_rating float, enrollment_count int);
Query OK, 0 rows affected (0.01 sec)

（2）根据以下数据字段在 education 数据库中创建学习记录表（learning_record）。学习记录表字段如下：

字段 类型 中文含义 备注
id int 记录编号 主键
user_id int 用户ID
course_id int 课程ID
watch_duration int 观看时长(分钟)
completion_rate float 完成率
last_watch_time datetime 最后观看时间
quiz_score float 测验得分
study_duration int 学习时长(分钟) 
1
2
mysql> create table learning_record( id int primary key, user_id int, course_id int, watch_duration int, completion_rate float, last_watch_time datetime, quiz_score floaat, study_duration int);
Query OK, 0 rows affected (0.02 sec)

将这两个 SQL 建表语句分别复制粘贴至【提交结果.docx】中对应的任务序号下。

（3）编写下列 SQL 查询语句：

  • 查询每门课程的平均完成率

    1
    2
    mysql> select course_id, avg(completion_rate) from learning_record group by course_id;
    Empty set (0.03 sec)

  • 统计每个课程类别的总报名人数

    1
    2
    mysql> select category, sum(course_name) from course group by category;
    Empty set (0.00 sec)

  • 查找观看时长超过课程时长的学习记录

    1
    2
    mysql> select l.id, l.user_id, l.course_id, l.watch_duration, l.completion_rate, l.ltast_watch_time, l.quiz_score, l.study_duration from learning_record l join course con l.course_id=c.id where l.watch_duration > c.duration;
    Empty set (0.00 sec)

将这三个 SQL 语句分别复制粘贴至【提交结果.docx】中对应的任务序号下。