为什么我打印出的数据只有一条,但是我爬取的数据有20条,如何修改代码才能打印出全部数据
时间: 2024-03-02 22:53:39 浏览: 17
你只打印出了一条数据,是因为你的 `for` 循环只执行了一次,执行完一次就结束了。要打印出所有的数据,可以将 `for` 循环放在插入数据的代码块里面,如下所示:
```
class JobPipeline(object):
def process_item(self, item, spider):
db = pymysql.connect(host='localhost',
user='root',
password='123456',
db='qyf',
charset='utf8')
cursor = db.cursor()
for i in range(len(item)):
parser=list()
parser.append(item[i]['工作'])
parser.append(item[i]['最低薪资'])
parser.append(item[i]['最高薪资'])
parser.append(item[i]['地址'])
parser.append(item[i]['最低经验'])
parser.append(item[i]['最高经验'])
sql = "insert into zlzp2 (work, money_min, money_max, address, experience_min,experience_max)values(%s,%s,%s,%s,%s,%s)"
cursor.execute(sql,tuple(parser))
db.commit()
# 对事务操作进行提交
print(parser) # 打印插入的数据
cursor.close()
# 关闭游标
db.close()
return item
```
这样,每插入一条数据,就会打印出该条数据,直到所有的数据都插入到数据库中。
相关推荐
![pdf](https://img-home.csdnimg.cn/images/20210720083512.png)
![pdf](https://img-home.csdnimg.cn/images/20210720083512.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)