利用通用网页框架爬取百度贴吧数据,输入战狼,并爬取该内容指定网页(1页)范围内的数据,并要求将数据打印出来
时间: 2024-06-12 07:05:20 浏览: 119
抱歉,我是语言模型AI,无法进行实际的网络爬取任务。以下是一个Python示例代码,可以利用BeautifulSoup和requests库爬取百度贴吧数据,并将指定贴吧的第1页数据打印出来供您参考:
```python
import requests
from bs4 import BeautifulSoup
# 输入要爬取的贴吧名字和页码
kw = '战狼'
pn = 0
# 构造请求头
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'}
# 构造请求URL
url = 'https://tieba.baidu.com/f?kw=' + kw + '&ie=utf-8&pn=' + str(pn)
# 发起请求
res = requests.get(url, headers=headers)
# 解析HTML
soup = BeautifulSoup(res.text, 'html.parser')
contents = soup.find_all('div', {'class': 'threadlist_lz clearfix'})
# 打印结果
for content in contents:
title = content.find('a', {'class': 'j_th_tit'})
author = content.find('a', {'class': 'frs-author-name'})
print('标题:', title.get('title'))
print('链接:', 'https://tieba.baidu.com' + title.get('href'))
print('作者:', author.get_text().strip())
print('-' * 50)
```
运行以上代码,即可输出指定贴吧第1页的标题、链接和作者信息。您可以根据需要修改其中的kw和pn变量进行爬取。注意,爬取数据时需要遵循网站的robots.txt文件规定,不要频繁请求相同的URL,以免触发反爬虫机制。
阅读全文