hive表里有100万数据，我想通过sql返回一万组，每组100条，然后将每组的100条数据传给外部api获取100个返回值，将返回值写入到新表里。使用python实现以上逻辑。

您可以使用Python编写Spark程序来实现这个逻辑。下面是一个示例代码：

from pyspark.sql import SparkSession
from pyspark.sql.functions import col, expr, posexplode, udf
import requests

# 创建SparkSession
spark = SparkSession.builder.appName("BatchAPI").enableHiveSupport().getOrCreate()

# 读取employee表数据
employee_df = spark.sql("SELECT id, name FROM employee")

# 定义API请求函数
def get_address(ids):
    url = "http://api.example.com/get_address"
    params = {"ids": ",".join(ids)}
    response = requests.get(url, params=params)
    data = response.json()
    return data

# 定义UDF函数
get_address_udf = udf(get_address)

# 注册UDF函数
spark.udf.register("get_address", get_address_udf)

# 定义批量调用函数
def batch_get_address(ids):
    return spark.sql(f"SELECT id, name, get_address(id) AS address FROM employee WHERE id IN ({','.join(ids)})")

# 注册批量调用函数
spark.udf.register("batch_get_address", batch_get_address)

# 将数据按分组进行处理
grouped_df = employee_df.withColumn("group_id", expr("ceil(row_number() over (order by id) / 100)"))

# 获取每个分组的id列表，并调用API获取地址
result_df = grouped_df.groupBy("group_id").agg(expr("collect_list(id) as ids")).withColumn("addresses", get_address_udf(col("ids")))

# 将地址展开，并与原始数据进行关联
exploded_df = result_df.select(col("group_id"), posexplode(col("addresses"))).withColumnRenamed("pos", "index")
final_df = exploded_df.join(grouped_df, (exploded_df.group_id == grouped_df.group_id) & (exploded_df.index == grouped_df.index)).drop("group_id", "index")

# 创建新表并写入结果数据
final_df.write.saveAsTable("new_table", mode="overwrite")

# 停止SparkSession
spark.stop()

请注意，上述代码假设您已经正确配置了Hive和Spark环境，并且可以访问到Hive中的`employee`表和可以通过API获取到地址的接口。另外，您可能需要根据实际情况进行适当的修改和调整，比如更改API的URL、请求参数等。这段代码会对数据进行分组处理，每组包含100条记录，并调用API获取地址信息，最后将结果写入新表中。