一个Python爬虫代码
时间: 2024-10-08 21:22:17 浏览: 30
Python爬虫是一种自动化程序,用于从网站上抓取数据。一个基础的Python爬虫通常会使用像`requests`库来发送HTTP请求获取网页内容,然后用`BeautifulSoup`或`lxml`这类库解析HTML文档提取所需信息。以下是一个简单的Python爬虫代码示例,它使用了`requests`和`BeautifulSoup`:
```python
import requests
from bs4 import BeautifulSoup
# 请求目标URL
url = "https://www.example.com"
# 发送GET请求并获取响应
response = requests.get(url)
# 检查请求是否成功
if response.status_code == 200:
# 使用BeautifulSoup解析HTML
soup = BeautifulSoup(response.text, 'html.parser')
# 找到需要的数据,例如所有段落(p标签)
paragraphs = soup.find_all('p')
# 遍历并打印每个段落的内容
for para in paragraphs:
print(para.get_text())
else:
print(f"请求失败,状态码: {response.status_code}")
#
阅读全文