请帮我生成https://www.douban.com/的爬虫代码
时间: 2023-12-01 19:02:54 浏览: 64
douban.py爬虫代码
好的,以下是Python爬虫代码:
```python
import requests
from bs4 import BeautifulSoup
url = 'https://www.douban.com/'
response = requests.get(url)
soup = BeautifulSoup(response.text, 'html.parser')
# 获取所有电影名字和链接
movies = soup.find_all('div', class_='slide-page')
for movie in movies:
name = movie.find('div', class_='title').get_text().strip()
link = movie.find('a')['href']
print(name, link)
```
请注意,这只是一个简单的例子,实际的爬虫需要注意网站的反爬措施并且遵守爬虫规范。
阅读全文