写一个系统爬虫获取数据的代码,需要从网站获取再写入到数据库
时间: 2024-06-04 09:12:36 浏览: 53
网络爬虫,数据采集源代码
3星 · 编辑精心推荐
以下是一个示例爬虫代码,可以抓取网站上的数据并存入数据库中(假设使用Python语言和MySQL数据库):
import requests
import mysql.connector
# 从网站获取数据
response = requests.get('http://example.com/data')
data = response.json()
# 写入到数据库
cnx = mysql.connector.connect(user='username', password='password',
host='127.0.0.1',
database='database_name')
cursor = cnx.cursor()
for item in data:
query = "INSERT INTO table_name (column1, column2, ...) VALUES (%s, %s, ...)"
values = (item['column1'], item['column2'], ...)
cursor.execute(query, values)
cnx.commit()
cursor.close()
cnx.close()
请注意,您需要根据实际情况进行更改,包括网站地址、数据库连接信息、表名和列名等。此外,这只是一个简单的示例,您可能需要进一步优化并处理异常情况。
阅读全文