python爬虫爬取网页数据

Python爬虫可以用于爬取网页数据。以下是一个简单的爬取网页数据的Python程序示例：

import requests
from bs4 import BeautifulSoup

# 发送请求
url = 'https://www.example.com'
response = requests.get(url)

# 解析HTML
soup = BeautifulSoup(response.text, 'html.parser')

# 提取数据
title = soup.find('title').text
paragraphs = soup.find_all('p')
for p in paragraphs:
    print(p.text)

上述代码使用requests库发送GET请求来获取网页HTML代码。然后使用BeautifulSoup库解析HTML代码。最后，使用find和find_all方法从HTML代码中提取所需的数据。

爬取网页数据时需要注意一些法律和道德问题，如不侵犯隐私和版权等。同时，应该遵循网站的robots.txt文件规则。