python爬虫抓取网页数据代码
时间: 2023-09-03 15:11:26 浏览: 150
当然可以!以下是一个简单的 Python 爬虫示例代码,用于抓取网页数据:
```python
import requests
# 指定要抓取的网页 URL
url = "https://www.example.com"
# 发送 GET 请求并获取响应
response = requests.get(url)
# 检查响应状态码是否成功
if response.status_code == 200:
# 使用 response.text 获取网页内容
html_content = response.text
# 在这里可以对获取到的网页内容进行解析和提取想要的数据
# 打印网页内容
print(html_content)
else:
print("请求失败,状态码:", response.status_code)
```
上述代码使用了 `requests` 库发送 HTTP 请求,并通过 `response.text` 获取到网页的 HTML 内容。你可以根据自己的需求,使用各种解析库(如 BeautifulSoup、lxml 等)对网页内容进行解析和提取所需的数据。
请注意,爬取网页数据时需要遵守网站的规则和法律。确保你有合法的权限和合理的使用目的。
阅读全文