pandas_udf

pandas_udf是PySpark中的一个API，用于定义用户自定义函数（User Defined Functions，简称UDFs）。它使用Arrow传输数据并使用Pandas进行数据处理，可以进行向量化操作。有两种类型的pandas_udf，分别是Scalar（标量映射）和Grouped Map（分组映射）。

Scalar Pandas UDF用于向量化标量操作，常常与select和withColumn等函数一起使用。调用的Python函数需要使用pandas.Series作为输入并返回一个具有相同长度的pandas.Series。具体执行流程是，Spark将列分成批，并将每个批作为数据的子集进行函数的调用，进而执行Pandas UDF，最后将结果连接在一起。

Grouped Map Pandas UDF用于在分组的数据上进行向量化操作。它可以在GroupBy操作后的DataFrame上使用，相比于Scalar Pandas UDF，它可以处理更复杂的逻辑，例如聚合操作。使用Grouped Map Pandas UDF时，需要使用@pandas_udf装饰器或包装函数来定义函数。

通过使用pandas_udf，可以更高效地处理数据，提高数据处理的效率和性能。<span class="em">1</span><span class="em">2</span><span class="em">3</span>
#### 引用[.reference_title]
- *1* *2* [pyspark pandas_udf](https://blog.csdn.net/weixin_40161254/article/details/91548469)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_2"}}] [.reference_item style="max-width: 50%"]
- *3* [一文解读pandas_udf](https://blog.csdn.net/weixin_42223090/article/details/130126261)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_2"}}] [.reference_item style="max-width: 50%"]
[ .reference_list ]