编写程序,爬取微博 “热门榜单” 100条记录,抽取有用信息,将结果分别保存到在csv文件中。
时间: 2024-09-15 13:13:44 浏览: 21
编写程序爬取微博“热门榜单”的过程通常涉及网络抓取技术,如Python的BeautifulSoup、Scrapy或requests库。以下是使用Python的一个简单示例,假设我们能通过API获取数据:
```python
import requests
from bs4 import BeautifulSoup
import csv
# 微博API的URL或其他数据源
url = "https://m.weibo.cn/api/hotlist"
# 发送GET请求并获取网页内容
response = requests.get(url)
content = response.text
# 使用BeautifulSoup解析HTML内容
soup = BeautifulSoup(content, 'html.parser')
# 查找包含热门榜数据的部分
hot_list = soup.find('div', class_='hot-list')
# 提取每条记录的有用信息(例如:微博标题、链接等)
data = []
for item in hot_list.find_all('li'):
title = item.find('a')['title']
link = item.find('a')['href']
# 如果有需要,还可以提取更多字段,如用户信息、发布时间等
data.append((title, link))
# 将数据写入CSV文件
with open('weibo_hotlist.csv', 'w', newline='', encoding='utf-8') as csvfile:
writer = csv.writer(csvfile)
writer.writerow(['微博标题', '链接']) # 写入表头
for record in data:
writer.writerow(record)