for循环python爬虫

在 Python 中，使用 for 循环进行爬虫可以通过以下步骤实现：

1. 导入 requests 库

import requests

2. 定义要爬取的网址

url = 'https://www.example.com'

3. 发送请求获取网页内容

response = requests.get(url)

4. 解析网页内容，获取需要的信息

# 使用 BeautifulSoup 库解析网页内容
from bs4 import BeautifulSoup
soup = BeautifulSoup(response.text, 'html.parser')

# 获取页面中所有的链接
links = []
for link in soup.find_all('a'):
    links.append(link.get('href'))

# 获取页面中所有的图片链接
img_links = []
for img in soup.find_all('img'):
    img_links.append(img.get('src'))

5. 将获取到的信息存储到文件中或者进行其他处理

# 将获取到的链接写入文件
with open('links.txt', 'w') as f:
    for link in links:
        f.write(link + '\n')

6. 如果需要爬取多个网页，可以使用 for 循环遍历多个网址

urls = ['https://www.example1.com', 'https://www.example2.com', 'https://www.example3.com']

for url in urls:
    response = requests.get(url)
    # 解析网页内容，获取需要的信息
    # 处理信息