pyspark的join函数如何不连接右表on条件的字段
时间: 2023-07-16 20:12:53 浏览: 133
解决在laravel中leftjoin带条件查询没有返回右表为NULL的问题
您好!感谢您的提问。针对您的问题,可以使用pyspark中的left_anti join来实现,示例如下:
```
from pyspark.sql.functions import col
left_df = ...
right_df = ...
joined_df = left_df.join(right_df, left_df.join_column == right_df.join_column, 'left_anti')
```
其中,left_anti join会将left_df中join_column列的值在right_df中找不到匹配的行筛选出来,从而达到不连接右表on条件的字段的效果。
希望能对你有所帮助,如有其他问题,欢迎随时提问!
阅读全文