用html实现爬虫把搜索到的数据储存到本地数据库
时间: 2024-04-01 22:38:38 浏览: 43
本地数据库储存
4星 · 用户满意度95%
首先,需要使用Python编写爬虫程序,使用BeautifulSoup库来解析HTML页面,然后使用requests库来获取目标网站的网页内容。
接着,需要使用数据库API(如MySQLdb)连接到本地数据库,并创建一个表来储存数据。
在爬虫程序中,可以使用BeautifulSoup库来定位需要爬取的数据,并将数据存储到一个字典中。然后,将字典中的数据插入到数据库表中。
最后,关闭数据库连接,完成数据储存的过程。
以下是一个简单的示例代码:
``` python
import requests
from bs4 import BeautifulSoup
import MySQLdb
# 连接数据库
db = MySQLdb.connect(host='localhost', user='root', password='password', db='testdb', charset='utf8')
cursor = db.cursor()
# 获取网页内容
url = 'https://www.example.com'
response = requests.get(url)
content = response.text
# 解析HTML页面
soup = BeautifulSoup(content, 'html.parser')
# 定位需要爬取的数据
data = {}
data['title'] = soup.find('title').text
data['content'] = soup.find('div', {'class': 'content'}).text
# 将数据插入到数据库表中
sql = "INSERT INTO example_table (title, content) VALUES (%s, %s)"
values = (data['title'], data['content'])
cursor.execute(sql, values)
db.commit()
# 关闭数据库连接
cursor.close()
db.close()
```
在这个示例中,我们使用了MySQLdb库来连接到本地数据库,并在数据库中创建了一个名为example_table的表,用于存储数据。我们使用了requests库来获取目标网站的网页内容,使用BeautifulSoup库来解析HTML页面,并使用Python字典来存储需要爬取的数据。最后,我们将数据插入到数据库表中,并关闭了数据库连接。
阅读全文