Python爬虫要爬取用户的所有微博，但是微博有很多页，每页的URL都不同，这样在写代码的时候要怎么搞URL

在Python编写爬虫时，如果需要爬取用户所有微博且分多页，你需要设计一种策略来处理动态生成的URL。这里通常会采用递归或者循环的方式，结合列表推导式或者循环结构来构建请求序列。以下是一个基本步骤：

1. **初始化**：首先获取第一页的内容，从中解析出下一页的链接，通常这会在HTML结构中的某个部分，比如`<a>`标签内的`href`属性。

url_template = 'https://weibo.com/user/home?containerid={page_num}'
start_page = 1
initial_links = [url_template.format(page_num=start_page)]

2. **提取链接**：对于每一页面，提取出所有链接，如果包含“更多”、“下一页”等字样，那可能是后续的页面链接。

def extract_next_links(response):
    # 使用BeautifulSoup或其他库解析HTML
    links = response.css('a.next') or response.css('.pagination a')
    return [link.attrib['href'] for link in links]

# 这里假设你已经有了一个get_html_content函数用于发送GET请求并返回HTML内容
next_links = extract_next_links(get_html_content(initial_links[0]))

3. **构建递归或循环**：将提取到的链接添加到新的请求序列中，并继续处理直到没有更多的链接为止。可以使用递归来简化代码，也可以用for循环实现。

if next_links:
    # 如果有下一个链接
    all_links = initial_links + [url_template.format(page_num=int(link.split('=')[1])) for link in next_links]
    # 递归或循环处理新链接
    for link in all_links:
        process_link(link)
else:
    # 所有链接抓完，结束爬取
    print("所有微博已抓取完成")