Python爬取数据并写入MySQL数据库的实例_python爬虫放进MySQL - CSDN文库

12 浏览量更新于2023-03-03 评论 4 收藏 114KB PDF 举报

身份认证购VIP最低享 7 折!

领优惠券(最高得80元）

资源详情

资源评论

资源推荐

Python爬取数据并写入爬取数据并写入MySQL数据库的实例数据库的实例

首先我们来爬取 http://html-color-codes.info/color-names/ 的一些数据。

按 F12 或 ctrl+u 审查元素，结果如下:

结构很清晰简单，我们就是要爬 tr 标签里面的 style 和 tr 下几个并列的 td 标签，下面是爬取的代码:

#!/usr/bin/env python

# coding=utf-8

import requests

from bs4 import BeautifulSoup

import MySQLdb

print('连接到mysql服务器...')

db = MySQLdb.connect("localhost","hp","Hp12345.","TESTDB")

print('连接上了!')

cursor = db.cursor()

cursor.execute("DROP TABLE IF EXISTS COLOR")

sql = """CREATE TABLE COLOR (

Color CHAR(20) NOT NULL,

Value CHAR(10),

Style CHAR(50) )"""

cursor.execute(sql)

hdrs = {'User-Agent':'Mozilla/5.0 (X11; Fedora; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko)'}

url = "http://html-color-codes.info/color-names/"

r = requests.get(url, headers = hdrs)

soup = BeautifulSoup(r.content.decode('gbk', 'ignore'), 'lxml')

trs = soup.find_all('tr') # 获取全部tr标签成为一个列表

for tr in trs: # 遍历列表里所有的tr标签单项

style = tr.get('style') # 获取每个tr标签里的属性style

tds = tr.find_all('td') # 将每个tr标签下的td标签获取为列表

td = [x for x in tds] # 获取的列表

name = td[1].text.strip() # 直接从列表里取值

hex = td[2].text.strip()

本内容试读结束，登录后可阅读更多

下载后可阅读完整内容，剩余1页未读，立即下载

评论0

weixin_38715879

粉丝: 4
资源: 922

会员权益专享

图片转文字

全年可省5，000元立即开通

最新资源

资源上传下载、课程学习等过程中有任何疑问或建议，欢迎提出宝贵意见哦~我们会及时处理！点击此处反馈