python爬取数据存入mysql源代码
时间: 2023-10-24 22:09:40 浏览: 59
利用 python操作爬虫数据存入mysql数据库。
以下是一个简单的示例,展示如何使用Python爬取数据并将其存储到MySQL数据库中。
首先,需要安装Python的MySQL连接器。可以使用以下命令安装:
```
pip install mysql-connector-python
```
接下来,我们需要编写代码来连接到MySQL数据库并创建表,以便我们可以将数据存储在其中。下面是一个示例代码:
```python
import mysql.connector
# 连接数据库
mydb = mysql.connector.connect(
host="localhost",
user="yourusername",
password="yourpassword",
database="mydatabase"
)
# 创建表
mycursor = mydb.cursor()
mycursor.execute("CREATE TABLE customers (name VARCHAR(255), address VARCHAR(255))")
```
接下来,我们可以使用Python的requests库从网站中获取数据。以下是一个示例代码:
```python
import requests
url = 'https://www.example.com/data'
response = requests.get(url)
data = response.json()
```
现在,我们有了数据,我们可以将其存储在MySQL数据库中。以下是一个示例代码:
```python
import mysql.connector
# 连接数据库
mydb = mysql.connector.connect(
host="localhost",
user="yourusername",
password="yourpassword",
database="mydatabase"
)
# 插入数据
mycursor = mydb.cursor()
sql = "INSERT INTO customers (name, address) VALUES (%s, %s)"
val = ("John", "Highway 21")
mycursor.execute(sql, val)
mydb.commit()
print(mycursor.rowcount, "record inserted.")
```
以上是一个简单的示例代码,展示如何使用Python将数据爬取并存储到MySQL数据库中。
阅读全文