爬取本地文件到mysql
时间: 2023-08-05 09:26:47 浏览: 37
要将本地文件爬取并保存到MySQL数据库中,你需要完成以下几个步骤:
1.读取本地文件:
```python
with open('filename.txt', 'r') as f:
content = f.read()
```
2.连接MySQL数据库:
```python
import pymysql
connection = pymysql.connect(
host='localhost',
user='username',
password='password',
db='database_name',
charset='utf8'
)
```
3.创建一个游标对象:
```python
cursor = connection.cursor()
```
4.执行插入操作:
```python
sql = 'INSERT INTO table_name (content) VALUES (%s)'
cursor.execute(sql, (content,))
```
5.提交更改:
```python
connection.commit()
```
完整代码如下:
```python
import pymysql
with open('filename.txt', 'r') as f:
content = f.read()
connection = pymysql.connect(
host='localhost',
user='username',
password='password',
db='database_name',
charset='utf8'
)
cursor = connection.cursor()
sql = 'INSERT INTO table_name (content) VALUES (%s)'
cursor.execute(sql, (content,))
connection.commit()
connection.close()
```
其中,`filename.txt`是你要爬取的本地文件名,`table_name`是你要插入的MySQL表名,`content`是你要插入的文件内容。
注意,这个例子中我们将整个文件内容都插入到了MySQL中,如果文件过大可能会导致数据库性能下降或者插入失败。你可以根据实际情况修改代码,例如只插入文件的一部分或者将文件分割成多个小文件并分别插入到数据库中。