分别使用DataFrame API和SQL语句，完成指定的数据统计分析↓"研发部"准备清理35岁以上老员工，请列出清理对象的部门名称、员工号、员工姓名、员工年龄

使用DataFrame API实现：

from pyspark.sql.functions import col

# 假设员工信息的DataFrame为emp_df，包含部门名称、员工号、员工姓名和员工年龄等字段
# 列出部门名称、员工号、员工姓名和员工年龄，筛选年龄大于等于35岁的员工
clear_emp_df = emp_df.select("部门名称", "员工号", "员工姓名", "员工年龄") \
                     .filter(col("员工年龄") >= 35)

# 显示清理对象
clear_emp_df.show()

使用SQL语句实现：

# 假设员工信息的DataFrame为emp_df，将其注册成表emp_table
emp_df.createOrReplaceTempView("emp_table")

# 列出部门名称、员工号、员工姓名和员工年龄，筛选年龄大于等于35岁的员工
clear_emp_df = spark.sql("SELECT 部门名称, 员工号, 员工姓名, 员工年龄 \
                          FROM emp_table \
                          WHERE 员工年龄 >= 35")

# 显示清理对象
clear_emp_df.show()

相关问题

@↓分别使用DataFrame API和SQL语句，完成指定的数据统计分析↓ 3.公司要发妇女节礼物，请列出发放对象的员工号、员工姓名、性别；

使用DataFrame API：

from pyspark.sql.functions import col

# 假设员工信息存储在employee_df数据框中，包括员工号、员工姓名、性别等信息
# 假设员工性别用1表示男性，2表示女性，需要进行转换
employee_df = employee_df.withColumn("gender", when(col("sex") == 1, "Male").otherwise("Female"))

# 发放妇女节礼物的对象是女性员工，因此筛选出女性员工
female_employee_df = employee_df.filter(col("gender") == "Female")

# 列出发放对象的员工号、员工姓名、性别
female_employee_df.select("employee_id", "employee_name", "gender").show()

使用SQL：

-- 假设员工信息存储在employee表中，包括员工号、员工姓名、性别等信息
-- 假设员工性别用1表示男性，2表示女性，需要进行转换
SELECT employee_id, employee_name, CASE sex WHEN 1 THEN 'Male' ELSE 'Female' END AS gender
FROM employee
WHERE sex = 2;

在spark sql中可以使用dataframe的API或sql语句对dataframe服务进行数据统计操作

吗？

可以，Spark SQL支持使用DataFrame API或SQL语句来对DataFrame进行数据统计操作。DataFrame API提供了许多可以直接应用于DataFrame的操作函数，包括聚合函数、过滤函数、排序函数等，而SQL语句则提供了类似于关系型数据库的查询语言来对数据进行操作。无论使用哪种方式，Spark SQL都可以支持数据统计的操作，如计数、求和、平均值等。