请你用Python编写一个功能强大的爬虫,功能至少要有图片和用户数据爬取等。
时间: 2024-10-28 12:08:50 浏览: 2
Python实现的LeetCode爬虫。爬取LeetCode题目描述和提交的代码。.zip
在Python中编写一个功能全面的爬虫确实需要一些基础知识,包括requests库用于发送HTTP请求,BeautifulSoup或Scrapy用于解析HTML文档,PIL库处理图片,以及一些数据存储技术如CSV或数据库。这里是一个简单的例子,展示如何用Python爬取网页上的图片和用户名,实际应用可能会更复杂,涉及反爬机制处理和合法性考量。
```python
import requests
from bs4 import BeautifulSoup
from PIL import Image
import csv
def download_image(url):
response = requests.get(url)
image = Image.open(BytesIO(response.content))
image.save('image.jpg')
def scrape_user_data(html_content):
soup = BeautifulSoup(html_content, 'html.parser')
user_list = soup.find_all('div', class_='username') # 假设用户名在class为'username'的div标签内
for user in user_list:
username = user.text
print(f"Username: {username}")
download_image(user.find('img')['src']) # 假设每个用户的头像链接在其内的第一个img标签
url_to_crawl = 'http://example.com' # 替换为你想抓取的网站URL
response = requests.get(url_to_crawl)
if response.status_code == 200:
html_content = response.text
scrape_user_data(html_content)
阅读全文