python爬虫for循环翻页

在Python爬虫中，使用for循环实现翻页是一种常见的方法。通常，我们需要指定一个起始页码和结束页码，然后在循环中依次访问每一页的数据。具体实现步骤如下：

1. 指定URL和请求头信息，使用requests库发起HTTP请求。
2. 在循环中，使用字符串拼接的方式构造每一页的请求参数，并将其作为POST请求的data参数传入。
3. 发送请求并获取响应数据，通常使用response.text方法获取。
4. 将获取到的数据进行持久化存储，可以使用文件操作或数据库操作等方式。

下面是一个示例代码，用于爬取肯德基门店位置信息：

import requests

if __name__ == "__main__":
    url ='http://www.kfc.com.cn/kfccda/ashx/GetStoreList.ashx?op=keyword'
    headers = {'User-Agent':'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/72.0.3626.121 Safari/537.36'}
    kw = input('enter a place')
    for pageIndex in range(0, 16):
        pageIndex = str(pageIndex)
        data = {'cname': '', 'pid':'', 'keyword': kw, 'pageIndex': pageIndex, 'pageSize': '10'}
        response = requests.post(url=url, data=data, headers=headers)
        page_text = response.text
        filename = kw+'的肯德基门店位置有：'
        with open(filename, 'a', encoding='utf-8') as fp:
            fp.write(page_text)
    print('over')