Python之requests+xpath爬取猫眼电影并写入数据库(图文教程)_etree.xpath为空 - CSDN文库

195 浏览量更新于2023-03-03 评论 2 收藏 2.25MB PDF 举报

身份认证购VIP最低享 7 折!

领优惠券(最高得80元）

资源详情

资源评论

资源推荐

Python之之requests+xpath爬取猫眼电影并写入数据库爬取猫眼电影并写入数据库(图文教程图文教程)

文章目录文章目录一、pyhton连接mysql数据库二、用xpath抓取有用信息说几个比较容易掉坑的地方一二三效果

一、一、pyhton连接连接mysql数据库数据库

我是写了一个py文件来封装一下,然后在爬取猫眼的py文件里直接调用,需要使用到pymysql库, 没有安装这个库的同学要事先安装一下,这里直接上代码

#coding=utf-8

import pymysql

class mysqlConn:

def get_conn(self, dbname):

"""提供你要连接的数据库名,并连接数据库"""

self.conn = pymysql.connect(

host="127.0.0.1",

user="root",

password="你的密码",

db=dbname, #可选择要连接的数据库名

charset="utf8"

)

self.cur = self.conn.cursor()

def exe_sql(self, sql):

"""执行不返回结果的sql语句, 例如增删改"""

self.cur.execute(sql)

self.conn.commit()

# print("事物提交成功")

def select_sql(self, sql):

"""执行查询语句"""

self.cur.execute(sql)

return self.cur.fetchall()

def close_conn(self):

if self.cur:

self.cur.close()

if self.conn:

self.conn.close()

if __name__ == "__main__":

#找一个数据库表来执行一下看能不能行

connection = mysqlConn()

connection.get_conn("school") #连接'school'数据库

sql = '''insert into student2 (name, nickname) values ("赵六", "六娃")'''

connection.exe_sql(sql)

connection.close_conn()

注意文件开头有个#coding=utf-8,不写会提示一个小报错,以前都没写这个的习惯,看来以后要习惯写了

来看看结果

二、用二、用xpath抓取有用信息抓取有用信息

猫眼电影网站地址: https://maoyan.com/films?showType=3

先来看最后的数据库,看看我们要抓取哪些信息

本内容试读结束，登录后可阅读更多

下载后可阅读完整内容，剩余7页未读，立即下载

评论0

weixin_38664159

粉丝: 5
资源: 922

会员权益专享

图片转文字

全年可省5，000元立即开通

最新资源

资源上传下载、课程学习等过程中有任何疑问或建议，欢迎提出宝贵意见哦~我们会及时处理！点击此处反馈