spark合并部分网页URL后面带有1、2字样的翻页网址，统一 为一个网址。

可以使用Spark的字符串操作函数来实现这个任务。具体步骤如下：

1. 读取包含网页URL的数据集，例如一个DataFrame，假设其中的网页URL列为url。

2. 使用Spark的regexp_replace函数，将所有包含“?page=1”或“?page=2”的网页URL替换为不包含页码的网页URL。示例如下：

from pyspark.sql.functions import regexp_replace

df = df.withColumn("clean_url", regexp_replace(df.url, "\?page=[12]", ""))

3. 可以使用groupBy和agg函数来对相同的网页URL进行去重或者聚合操作。例如，可以使用以下代码对相同的网页URL进行去重：

from pyspark.sql.functions import col

df = df.groupBy("clean_url").agg(collect_set("url").alias("urls"))

此时，数据集中的每个网页URL只会出现一次，而对应的所有原始网页URL会存储在一个数组中。可以根据需要对这些原始网页URL进行进一步处理，例如合并、筛选等操作。