python怎么把网页爬出来的大串数据存放到存储区
时间: 2024-03-14 14:49:47 浏览: 20
在Python中,可以使用各种模块来爬取网页数据,如requests、urllib等。在爬取网页数据后,将数据存储到存储区可以使用文件操作、数据库等方式。
如果要将数据存储到文件中,可以使用Python内置的open函数,以文本模式或二进制模式打开文件,并将数据写入文件中。例如,以下代码将爬取到的数据存储到名为data.txt的文件中:
```
import requests
url = 'https://www.example.com'
response = requests.get(url)
data = response.text
with open('data.txt', 'w', encoding='utf-8') as f:
f.write(data)
```
如果要将数据存储到数据库中,可以使用Python中的各种数据库模块,例如MySQLdb、pymysql、sqlite3等。以sqlite3为例,以下代码将爬取到的数据存储到一个名为data.db的SQLite数据库中:
```
import requests
import sqlite3
url = 'https://www.example.com'
response = requests.get(url)
data = response.text
conn = sqlite3.connect('data.db')
cursor = conn.cursor()
cursor.execute('CREATE TABLE IF NOT EXISTS data (id INTEGER PRIMARY KEY AUTOINCREMENT, content TEXT)')
cursor.execute('INSERT INTO data (content) VALUES (?)', (data,))
conn.commit()
cursor.close()
conn.close()
```
以上代码通过创建一个名为data的表,并将爬取到的数据插入到该表中。通过commit()方法将数据提交到数据库中。
阅读全文