python爬取知乎图片
时间: 2023-03-01 11:19:10 浏览: 234
爬取知乎图片可以使用 Python 的爬虫框架,比如 Scrapy、Beautiful Soup 和 Requests 等。
首先,你需要使用 Requests 库发送 HTTP 请求获取知乎页面的 HTML 源代码,然后使用 Beautiful Soup 库解析该 HTML 代码,提取图片链接。最后,你可以使用 Requests 库再次发送请求获取图片的二进制数据,并保存到本地磁盘。
代码如下:
```
import requests
from bs4 import BeautifulSoup
def download_image(url, file_name):
response = requests.get(url)
with open(file_name, 'wb') as f:
f.write(response.content)
def main():
headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'}
url = 'https://www.zhihu.com/question/xxxxxxxx'
response = requests.get(url, headers=headers)
soup = BeautifulSoup(response.text, 'html.parser')
images = soup.find_all('img', {'class': 'origin_image zh-lightbox-thumb'})
for i, image in enumerate(images):
image_url = image['data-original']
download_image(image_url, 'image{}.jpg'.format(i))
if __name__ == '__main__':
main()
```
请注意,知乎的服务器可能会拒绝爬虫,所以你需要添加请求头模拟浏览器访问,以免被封禁。
阅读全文