用python写一个完整的爬虫代码,爬虫可以爬取微博的图片、内容、点赞数、评论数,并将内容、点赞数、评论数保存为xls格式

时间: 2024-05-09 09:15:18 浏览: 12
好的,以下是一个基本的微博爬虫代码,可以爬取微博的图片、内容、点赞数、评论数,并将内容、点赞数、评论数保存为xls格式: ```python import requests from bs4 import BeautifulSoup import xlwt # 设置请求头 headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'} # 获取微博页面内容 def get_weibo_content(url): res = requests.get(url, headers=headers) soup = BeautifulSoup(res.text, 'html.parser') return soup # 获取微博内容、点赞数、评论数和图片 def get_weibo_info(soup): weibo_info = [] weibos = soup.select('div.WB_feed_detail') for weibo in weibos: # 获取微博内容 wb_content = weibo.select('div.WB_text.W_f14')[0].text.strip() # 获取点赞数 wb_like = weibo.select('span[node-type="like_status"]')[0].text.strip() # 获取评论数 wb_comment = weibo.select('span[node-type="comment_btn_text"]')[0].text.strip() # 获取图片 wb_img = [] imgs = weibo.select('li.WB_pic img') for img in imgs: wb_img.append(img.get('src')) weibo_info.append([wb_content, wb_like, wb_comment, wb_img]) return weibo_info # 保存为xls格式 def save_to_xls(weibo_info): workbook = xlwt.Workbook(encoding='utf-8') worksheet = workbook.add_sheet('微博信息') row = 0 for info in weibo_info: col = 0 for i in info: if type(i) == list: worksheet.write(row, col, '\n'.join(i)) else: worksheet.write(row, col, i) col += 1 row += 1 workbook.save('weibo_info.xls') if __name__ == '__main__': # 输入微博主页链接 url = input('请输入微博主页链接:') soup = get_weibo_content(url) weibo_info = get_weibo_info(soup) save_to_xls(weibo_info) print('微博信息已保存为weibo_info.xls') ``` 需要注意的是,微博的页面结构可能会不断变化,所以需要根据实际情况对代码进行调整。此外,爬取他人微博信息可能涉及到隐私问题,请谨慎使用。

相关推荐

最新推荐

recommend-type

rockyou.txt

rockyou
recommend-type

ASP+ACCESS网上人才信息管理系统(源代码+论文)【ASP】.zip

ASP+ACCESS网上人才信息管理系统(源代码+论文)【ASP】
recommend-type

河北金融学院经济大数据课设2024年 软科学校爬虫课设

河北金融学院经济大数据课设2024年 软科学校爬虫课设
recommend-type

widgetsnbextension-4.0.0b0-py3-none-any.whl

Python库是一组预先编写的代码模块,旨在帮助开发者实现特定的编程任务,无需从零开始编写代码。这些库可以包括各种功能,如数学运算、文件操作、数据分析和网络编程等。Python社区提供了大量的第三方库,如NumPy、Pandas和Requests,极大地丰富了Python的应用领域,从数据科学到Web开发。Python库的丰富性是Python成为最受欢迎的编程语言之一的关键原因之一。这些库不仅为初学者提供了快速入门的途径,而且为经验丰富的开发者提供了强大的工具,以高效率、高质量地完成复杂任务。例如,Matplotlib和Seaborn库在数据可视化领域内非常受欢迎,它们提供了广泛的工具和技术,可以创建高度定制化的图表和图形,帮助数据科学家和分析师在数据探索和结果展示中更有效地传达信息。
recommend-type

协同过滤服务+源代码+文档说明

- 不懂运行,下载完可以私聊问,可远程教学 该资源内项目源码是个人的毕设,代码都测试ok,都是运行成功后才上传资源,答辩评审平均分达到96分,放心下载使用! <项目介绍> 1、该资源内项目代码都经过测试运行成功,功能ok的情况下才上传的,请放心下载使用! 2、本项目适合计算机相关专业(如计科、人工智能、通信工程、自动化、电子信息等)的在校学生、老师或者企业员工下载学习,也适合小白学习进阶,当然也可作为毕设项目、课程设计、作业、项目初期立项演示等。 3、如果基础还行,也可在此代码基础上进行修改,以实现其他功能,也可用于毕设、课设、作业等。 下载后请首先打开README.md文件(如有),仅供学习参考, 切勿用于商业用途。 --------
recommend-type

zigbee-cluster-library-specification

最新的zigbee-cluster-library-specification说明文档。
recommend-type

管理建模和仿真的文件

管理Boualem Benatallah引用此版本:布阿利姆·贝纳塔拉。管理建模和仿真。约瑟夫-傅立叶大学-格勒诺布尔第一大学,1996年。法语。NNT:电话:00345357HAL ID:电话:00345357https://theses.hal.science/tel-003453572008年12月9日提交HAL是一个多学科的开放存取档案馆,用于存放和传播科学研究论文,无论它们是否被公开。论文可以来自法国或国外的教学和研究机构,也可以来自公共或私人研究中心。L’archive ouverte pluridisciplinaire
recommend-type

MATLAB结构体与对象编程:构建面向对象的应用程序,提升代码可维护性和可扩展性

![MATLAB结构体与对象编程:构建面向对象的应用程序,提升代码可维护性和可扩展性](https://picx.zhimg.com/80/v2-8132d9acfebe1c248865e24dc5445720_1440w.webp?source=1def8aca) # 1. MATLAB结构体基础** MATLAB结构体是一种数据结构,用于存储和组织相关数据。它由一系列域组成,每个域都有一个名称和一个值。结构体提供了对数据的灵活访问和管理,使其成为组织和处理复杂数据集的理想选择。 MATLAB中创建结构体非常简单,使用struct函数即可。例如: ```matlab myStruct
recommend-type

详细描述一下STM32F103C8T6怎么与DHT11连接

STM32F103C8T6可以通过单总线协议与DHT11连接。连接步骤如下: 1. 将DHT11的VCC引脚连接到STM32F103C8T6的5V电源引脚; 2. 将DHT11的GND引脚连接到STM32F103C8T6的GND引脚; 3. 将DHT11的DATA引脚连接到STM32F103C8T6的GPIO引脚,可以选择任一GPIO引脚,需要在程序中配置; 4. 在程序中初始化GPIO引脚,将其设为输出模式,并输出高电平,持续至少18ms,以激活DHT11; 5. 将GPIO引脚设为输入模式,等待DHT11响应,DHT11会先输出一个80us的低电平,然后输出一个80us的高电平,
recommend-type

JSBSim Reference Manual

JSBSim参考手册,其中包含JSBSim简介,JSBSim配置文件xml的编写语法,编程手册以及一些应用实例等。其中有部分内容还没有写完,估计有生之年很难看到完整版了,但是内容还是很有参考价值的。