python爬取百度贴吧
时间: 2023-10-04 20:03:09 浏览: 113
获取百度贴吧帖子内任意图片.doc
要爬取百度贴吧,你需要使用 Python 的 requests 和 BeautifulSoup 库。以下是一个简单的示例代码:
```python
import requests
from bs4 import BeautifulSoup
# 贴吧 URL
url = "https://tieba.baidu.com/f?kw=python&fr=index"
# 发送请求
response = requests.get(url)
# 解析 HTML
soup = BeautifulSoup(response.text, 'html.parser')
# 获取所有帖子的链接
links = []
for link in soup.find_all('a', class_='j_th_tit'):
links.append(link.get('href'))
# 输出结果
print(links)
```
这段代码会将百度贴吧“python吧”的所有帖子链接打印出来。你可以根据需要修改代码,实现更复杂的爬虫功能。但请注意,爬取他人网站数据可能存在法律风险,请确保遵守相关法律法规。
阅读全文