用python写一段爬虫代码,要求抓取证券之星网站下的股票-公司研究目录第10 页。 网址:https://wap.stockstar.com/list/10 将该网页的目录抓取显示井保存到。证券之星第10页新闻.txt”文件中
时间: 2024-01-18 18:03:03 浏览: 24
好的,以下是Python爬虫代码的示例,用于抓取证券之星网站下的股票-公司研究目录第10页,并将其保存到"证券之星第10页新闻.txt"文件中:
```python
import requests
from bs4 import BeautifulSoup
url = 'https://wap.stockstar.com/list/10'
res = requests.get(url)
soup = BeautifulSoup(res.text, 'html.parser')
news_list = soup.find_all('div', class_='news-list')[0]
with open('证券之星第10页新闻.txt', 'w', encoding='utf-8') as f:
for news in news_list.find_all('a'):
f.write(news.get_text() + '\n')
```
该代码使用requests库和BeautifulSoup库,首先获取目标网页的HTML内容,然后使用BeautifulSoup解析HTML,找到新闻列表所在的div标签,并遍历其中的所有a标签,将其文本内容写入到文件中。