hive某张表中sex列的值有:"男","女","F","M",4个不同的值,动态从数据库中获取sex列的值对应的标准值,用spark2.4根据获取的标准值将sex列原来的值转化为标准值,并把转化后的数据全部存入另外一张表汇中

时间: 2023-07-21 18:45:58 浏览: 41
可以使用Spark DataFrame的`join`函数和`withColumn`函数来实现: ``` # 读取原始表格 df = spark.read.table("原始表格") # 从数据库中获取sex列的标准值 standard_df = spark.read.jdbc(url=url, table="标准表格") # 将原始表格和标准表格进行join df = df.join(standard_df, df.sex == standard_df.sex_ori, "left_outer") # 使用withColumn函数将sex列中的不同值转化为标准值 df = df.withColumn("sex_std", when(df.sex_ori.isNull(), df.sex).otherwise(df.sex_std)) # 存储转化后的数据到另外一张表中 df.write.mode("overwrite").saveAsTable("另外一张表") ``` 在上述代码中,我们首先使用`spark.read.table`函数读取原始表格,并使用`spark.read.jdbc`函数从数据库中获取sex列的标准值。然后,我们使用`join`函数将原始表格和标准表格进行join操作,得到一个包含`sex_ori`和`sex_std`两列的DataFrame。其中,`sex_ori`列为原始表格中的`sex`列,`sex_std`列为从标准表格中获取的对应标准值。接下来,我们使用`when`函数将`sex`列中的不同值转化为标准值,并使用`withColumn`函数添加一列`sex_std`来存储转化后的值。最后,我们使用`write`函数将转化后的数据存入另外一张表中。

相关推荐

最新推荐

recommend-type

Python pandas 列转行操作详解(类似hive中explode方法)

主要介绍了Python pandas 列转行操作详解(类似hive中explode方法),具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧
recommend-type

如何在python中写hive脚本

主要介绍了如何在python中写hive脚本,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
recommend-type

网易杭研大数据实践:Apache Hive稳定性测试

Hive是Apache开源的数据仓库工具,主要是将基于Hadoop的结构化数据文件映射为数据库表,并提供类SQL查询功能。Hive最初的目标是为了降低大数据开发的门槛,它屏蔽了底层计算模型的复杂开发逻辑,类SQL的查询功能也...
recommend-type

在数据库中有读者的借阅卡信息表、 书刊借阅信息表borrow等,具体表结

在关系数据库设计中,一个良好的设计方案可以提高数据的存储和查询效率,降低数据冗余和不一致性。下面对给定的文件信息进行分析和知识点总结: 1. 数据库表设计 在数据库中有读者的借阅卡信息表、书刊借阅信息表 ...
recommend-type

shell中循环调用hive sql 脚本的方法

今天小编就为大家分享一篇shell中循环调用hive sql 脚本的方法,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧
recommend-type

zigbee-cluster-library-specification

最新的zigbee-cluster-library-specification说明文档。
recommend-type

管理建模和仿真的文件

管理Boualem Benatallah引用此版本:布阿利姆·贝纳塔拉。管理建模和仿真。约瑟夫-傅立叶大学-格勒诺布尔第一大学,1996年。法语。NNT:电话:00345357HAL ID:电话:00345357https://theses.hal.science/tel-003453572008年12月9日提交HAL是一个多学科的开放存取档案馆,用于存放和传播科学研究论文,无论它们是否被公开。论文可以来自法国或国外的教学和研究机构,也可以来自公共或私人研究中心。L’archive ouverte pluridisciplinaire
recommend-type

MATLAB图像处理算法宝典:从理论到实战

![MATLAB图像处理算法宝典:从理论到实战](https://img-blog.csdnimg.cn/20200717112736401.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2d1emhhbzk5MDE=,size_16,color_FFFFFF,t_70) # 1. MATLAB图像处理基础理论 MATLAB图像处理是一种利用MATLAB编程语言进行图像处理的强大工具。它提供了丰富的函数和工具箱,用于图像获取、增强、分
recommend-type

matlab中1/x的非线性规划

在MATLAB中,可以使用非线性规划函数(`fmincon`)来优化一个包含1/x的非线性目标函数。下面是一个简单的例子: ```matlab % 定义目标函数 fun = @(x) 1/x; % 定义约束函数(这里没有约束) nonlcon = []; % 定义初始点 x0 = 1; % 定义优化选项 options = optimoptions('fmincon', 'Display', 'iter'); % 进行非线性规划 [x, fval] = fmincon(fun, x0, [], [], [], [], [], [], nonlcon, options); ``` 在
recommend-type

JSBSim Reference Manual

JSBSim参考手册,其中包含JSBSim简介,JSBSim配置文件xml的编写语法,编程手册以及一些应用实例等。其中有部分内容还没有写完,估计有生之年很难看到完整版了,但是内容还是很有参考价值的。