python爬取微博完整代码
时间: 2023-07-09 12:44:04 浏览: 120
以下是一个使用Python爬取微博的完整示例代码,使用的是requests和beautifulsoup库:
```python
import requests
from bs4 import BeautifulSoup
# 设置请求头部信息
headers = {
"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3",
"Cookie": "在这里粘贴你的微博cookie信息"
}
# 发送请求
url = "https://weibo.com/"
response = requests.get(url, headers=headers)
# 解析网页内容
soup = BeautifulSoup(response.text, "html.parser")
weibo_texts = soup.find_all("div", class_="WB_text W_f14")
for weibo_text in weibo_texts:
print(weibo_text.text.strip())
```
请注意,这个代码假设你已经登录了微博并获取了cookie信息。在实际使用中,你应该使用自己的账号和密码进行登录,然后使用requests库来获取cookie信息。另外,爬取微博时需要注意反爬虫措施,合理使用爬虫并遵守网站的相关规定和法律法规。
阅读全文