python爬取csdn上的包含整人关键词的阅读量并且存入表格里。完整代码

时间: 2023-09-21 15:05:54 浏览: 63
### 回答1: 下面是一个爬取CSDN博客中包含"整人"关键词文章阅读量并存入表格的示例代码: ```python import requests import pandas as pd from bs4 import BeautifulSoup # 创建一个空的DataFrame存储爬取的数据 data = pd.DataFrame(columns=['标题','阅读量']) # 遍历每一页 for i in range(1, 5): url = 'https://blog.csdn.net/search/articleList?type=blog&keyword=%E6%95%B4%E4%BA%BA&page=' + str(i) res = requests.get(url) soup = BeautifulSoup(res.text, 'html.parser') # 查找每篇文章的标题和阅读量 for article in soup.find_all(class_='search-list-item'): title = article.find('a').text views = article.find(class_='search-list-item-views').text # 将数据添加到DataFrame中 data = data.append({'标题':title,'阅读量':views},ignore_index=True) # 保存爬取的数据到CSV文件中 data.to_csv('csdn_data.csv',index=False) ``` 上面代码使用了requests库来发送请求,使用BeautifulSoup库来解析HTML,使用pandas库来存储数据。这个代码会爬取前4页的数据,如果需要爬取更多,可以更改for循环的终止条件。 需要注意的是,爬取网页数据时需要遵守网站的相关规则,并且需要负责自己的行为,对于不遵守相关规则的行为自负相应的后果。 ### 回答2: 下面是一个使用Python爬取CSDN上包含整人关键词的博文阅读量,并将其存入表格的示例代码。代码使用了BeautifulSoup库来解析网页内容,以及pandas库来创建和管理表格。 ```python import requests from bs4 import BeautifulSoup import pandas as pd # 创建空的表格 df = pd.DataFrame(columns=['标题', '阅读量']) # 设定关键词 keyword = "整人" # 爬取CSDN上的博文列表页面 url = "https://so.csdn.net/so/search/s.do?q=" + keyword response = requests.get(url) soup = BeautifulSoup(response.text, 'html.parser') # 获取爬取结果中的博文标题和阅读量 titles = soup.select('.limit_width') read_counts = soup.select('.read-num') # 遍历博文列表,将标题和阅读量存入表格 for title, read_count in zip(titles, read_counts): title_text = title.get_text(strip=True) read_count_text = read_count.get_text(strip=True) df = df.append({'标题': title_text, '阅读量': read_count_text}, ignore_index=True) # 将表格保存为CSV文件 df.to_csv('csdn阅读量表格.csv', index=False) ``` 上述代码首先导入需要的库,然后使用requests发送一个GET请求,获取CSDN上包含关键词的搜索结果页面。接下来,使用BeautifulSoup解析网页内容,通过CSS选择器选择博文的标题和阅读量元素。然后,遍历这些元素,将标题和阅读量存入表格中。 最后,使用pandas将表格保存为CSV文件。 ### 回答3: 使用Python爬取CSDN上包含整人关键词的博文阅读量,并将结果存入表格的完整代码如下: ```python import requests from bs4 import BeautifulSoup import pandas as pd def parse_page(url): headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36' } response = requests.get(url, headers=headers) soup = BeautifulSoup(response.text, 'lxml') articles = soup.find_all('div', class_='article-item-box csdn-tracking-statistics') data = [] for article in articles: title = article.find('h4').text.strip() read_count = article.find('span', class_='read-count').text.strip() if '整人' in title: data.append({ '标题': title, '阅读量': read_count }) return data def save_to_excel(data): df = pd.DataFrame(data) df.to_excel('csdn_read_count.xlsx', index=False) def main(): url = 'https://blog.csdn.net/' page = 1 data = [] while True: page_url = url + '?&page=' + str(page) page_data = parse_page(page_url) if len(page_data) == 0: break data.extend(page_data) page += 1 save_to_excel(data) if __name__ == '__main__': main() ``` 该代码首先使用`requests`库发送请求,使用`BeautifulSoup`库解析HTML页面。在`parse_page`函数中,我们定义了爬取和解析页面的过程。我们使用`css`选择器定位到博文列表中的每篇博文,并提取标题和阅读量信息。如果标题中包含“整人”关键词,我们将其标题和阅读量添加到`data`列表中。 `save_to_excel`函数用于将爬取的数据保存到Excel表格中,使用`pandas`库创建DataFrame对象,并通过调用`to_excel`方法将数据保存到`csdn_read_count.xlsx`文件中。 在`main`函数中,我们从第一页开始依次爬取博文,直到没有更多博文后结束循环。最后,调用`save_to_excel`函数将数据保存到表格中。 执行`main`函数即可开始爬取,并将结果保存到表格中。

最新推荐

recommend-type

Python爬取当当、京东、亚马逊图书信息代码实例

主要介绍了Python爬取当当、京东、亚马逊图书信息代码实例,具有一定借鉴价值,需要的朋友可以参考下。
recommend-type

Python爬取数据并实现可视化代码解析

主要介绍了Python爬取数据并实现可视化代码解析,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
recommend-type

Python爬取数据保存为Json格式的代码示例

今天小编就为大家分享一篇关于Python爬取数据保存为Json格式的代码示例,小编觉得内容挺不错的,现在分享给大家,具有很好的参考价值,需要的朋友一起跟随小编来看看吧
recommend-type

Python selenium爬取微信公众号文章代码详解

主要介绍了Python selenium爬取微信公众号历史文章代码详解,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
recommend-type

Python爬取数据并写入MySQL数据库的实例

今天小编就为大家分享一篇Python爬取数据并写入MySQL数据库的实例,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧
recommend-type

RTL8188FU-Linux-v5.7.4.2-36687.20200602.tar(20765).gz

REALTEK 8188FTV 8188eus 8188etv linux驱动程序稳定版本, 支持AP,STA 以及AP+STA 共存模式。 稳定支持linux4.0以上内核。
recommend-type

管理建模和仿真的文件

管理Boualem Benatallah引用此版本:布阿利姆·贝纳塔拉。管理建模和仿真。约瑟夫-傅立叶大学-格勒诺布尔第一大学,1996年。法语。NNT:电话:00345357HAL ID:电话:00345357https://theses.hal.science/tel-003453572008年12月9日提交HAL是一个多学科的开放存取档案馆,用于存放和传播科学研究论文,无论它们是否被公开。论文可以来自法国或国外的教学和研究机构,也可以来自公共或私人研究中心。L’archive ouverte pluridisciplinaire
recommend-type

Redis验证与连接:安装成功验证技巧

![Redis从入门到精通](https://img-blog.csdnimg.cn/6f39d0a2adc3456b96e804eb45032480.png) # 1. Redis安装与验证** ### 2.2 Redis验证方法 Redis验证可以通过以下方法进行: - **命令行验证:** - 打开终端,输入 `redis-cli` 命令进入 Redis 命令行。 - 输入 `ping` 命令,如果返回 "PONG",则表示 Redis 正在运行。 - **客户端验证:** - 使用 Redis 客户端(如 RedisInsight)连接到 Redis 服务器。
recommend-type

3、自定义一个函数int compareStr(char *p1, char *p2),实现两个字符串的比较。相等返回0,大于返回1,小于返回0;编写主函数main()来调用自定义函数完成测试。

下面是自定义的 `compareStr` 函数的代码实现: ```c #include <stdio.h> int compareStr(char *p1, char *p2) { while (*p1 && *p2 && (*p1 == *p2)) { p1++; p2++; } return (*p1 > *p2) - (*p1 < *p2); } int main() { char str1[100], str2[100]; int result; printf("请输入第一个字符串:");
recommend-type

c++校园超市商品信息管理系统课程设计说明书(含源代码) (2).pdf

校园超市商品信息管理系统课程设计旨在帮助学生深入理解程序设计的基础知识,同时锻炼他们的实际操作能力。通过设计和实现一个校园超市商品信息管理系统,学生掌握了如何利用计算机科学与技术知识解决实际问题的能力。在课程设计过程中,学生需要对超市商品和销售员的关系进行有效管理,使系统功能更全面、实用,从而提高用户体验和便利性。 学生在课程设计过程中展现了积极的学习态度和纪律,没有缺勤情况,演示过程流畅且作品具有很强的使用价值。设计报告完整详细,展现了对问题的深入思考和解决能力。在答辩环节中,学生能够自信地回答问题,展示出扎实的专业知识和逻辑思维能力。教师对学生的表现予以肯定,认为学生在课程设计中表现出色,值得称赞。 整个课程设计过程包括平时成绩、报告成绩和演示与答辩成绩三个部分,其中平时表现占比20%,报告成绩占比40%,演示与答辩成绩占比40%。通过这三个部分的综合评定,最终为学生总成绩提供参考。总评分以百分制计算,全面评估学生在课程设计中的各项表现,最终为学生提供综合评价和反馈意见。 通过校园超市商品信息管理系统课程设计,学生不仅提升了对程序设计基础知识的理解与应用能力,同时也增强了团队协作和沟通能力。这一过程旨在培养学生综合运用技术解决问题的能力,为其未来的专业发展打下坚实基础。学生在进行校园超市商品信息管理系统课程设计过程中,不仅获得了理论知识的提升,同时也锻炼了实践能力和创新思维,为其未来的职业发展奠定了坚实基础。 校园超市商品信息管理系统课程设计的目的在于促进学生对程序设计基础知识的深入理解与掌握,同时培养学生解决实际问题的能力。通过对系统功能和用户需求的全面考量,学生设计了一个实用、高效的校园超市商品信息管理系统,为用户提供了更便捷、更高效的管理和使用体验。 综上所述,校园超市商品信息管理系统课程设计是一项旨在提升学生综合能力和实践技能的重要教学活动。通过此次设计,学生不仅深化了对程序设计基础知识的理解,还培养了解决实际问题的能力和团队合作精神。这一过程将为学生未来的专业发展提供坚实基础,使其在实际工作中能够胜任更多挑战。