用东方财富网requests获取个股帖子目录,并进入获取不同讨论者的讨论内容
时间: 2024-06-10 07:04:19 浏览: 78
可以使用以下代码来实现:
```python
import requests
from bs4 import BeautifulSoup
# 获取个股帖子目录
url = 'http://guba.eastmoney.com/list,000001.html'
response = requests.get(url)
soup = BeautifulSoup(response.text, 'html.parser')
post_links = []
for li in soup.select('.articlelistnew ul li'):
a = li.find('a', href=True)
if a and '帖' in a.text:
post_links.append(a['href'])
# 进入获取不同讨论者的讨论内容
for link in post_links:
response = requests.get(link)
soup = BeautifulSoup(response.text, 'html.parser')
for span in soup.select('.zwli_hd span'):
author = span.text.strip()
print('讨论者:', author)
for div in soup.select('.stockcodec'):
content = div.text.strip()
print('讨论内容:', content)
```
其中,我们首先通过 requests 库获取东方财富网的个股帖子目录,使用 BeautifulSoup 库解析 HTML 页面,从中提取出所有的帖子链接,并存储在 post_links 列表中。接着,我们循环遍历每个帖子链接,通过 requests 库访问帖子页面,解析 HTML 页面,从中提取出讨论者和讨论内容,并打印输出。注意,这里的代码仅供参考,实际应用中可能需要根据具体网站的 HTML 结构进行调整。
阅读全文