python爬取微博内容
时间: 2023-07-11 14:58:11 浏览: 82
python爬取微博关键词搜索博文
爬取微博内容可以使用 Python 的 requests 库和 BeautifulSoup 库进行网页内容的获取和数据的提取。以下是一个简单的示例代码:
```python
import requests
from bs4 import BeautifulSoup
# 微博页面的 URL
url = 'https://weibo.com/u/1234567890'
# 请求头,伪装成浏览器访问
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36 Edge/16.16299'
}
# 发送 GET 请求
response = requests.get(url, headers=headers)
# 解析网页内容
soup = BeautifulSoup(response.text, 'html.parser')
# 提取微博内容
weibo_list = soup.find_all('div', {'class': 'WB_text'})
# 打印微博内容
for weibo in weibo_list:
print(weibo.get_text())
```
需要注意的是,爬取网页内容时要尊重网站的规定和法律法规,不要进行恶意爬取和违法操作。
阅读全文