python爬虫入门编程示例
时间: 2023-11-20 07:05:14 浏览: 98
Python爬虫是指使用Python编写程序,自动化地从互联网上获取数据的过程。以下是一个简单的Python爬虫入门编程示例:
1. 导入requests库,用于发送HTTP请求和获取响应。
2. 使用requests.get()方法获取目标网页的HTML源代码。
3. 使用BeautifulSoup库解析HTML源代码,提取所需的数据。
4. 将提取的数据保存到本地文件或数据库中。
示例代码如下:
```
import requests
from bs4 import BeautifulSoup
# 发送HTTP请求并获取响应
url = 'https://www.example.com'
response = requests.get(url)
# 解析HTML源代码并提取数据
soup = BeautifulSoup(response.text, 'html.parser')
data = soup.find('div', {'class': 'example'}).text
# 保存数据到本地文件或数据库中
with open('data.txt', 'w') as f:
f.write(data)
```
阅读全文